一、发现问题

  下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

http://www.eclipse.org/mat/

10.查看类的引用树，看到BouncyCastleProvider对象持有过多。即我们代码中对该对象的处理方式是错误的，定位到问题。

五、代码分析

我们代码中有一块是这样写的

这是加解密的功能，每次运行加解密都会new一个BouncyCastleProvider对象,放倒Cipher.getInstance()方法中。

看下Cipher.getInstance()的实现，这是jdk的底层代码实现，追踪到JceSecurity类中

verifyingProviders每次put后都会remove,verificationResults只会put，不会remove.

看到verificationResults是一个static的map，即属于JceSecurity类的。

所以每次运行到加解密都会向这个map put一个对象，而这个map属于类的维度，所以不会被GC回收。这就导致了大量的new的对象不被回收。

六、代码改进

将有问题的对象置为static，每个类持有一个，不会多次新建。

七、本文总结

遇到线上问题不要慌，首先确认排查问题的思路：

1. 查看日志
2. 查看CPU情况
3. 查看TCP情况
4. 查看java线程，jstack
5. 查看java堆，jmap
6. 通过MAT分析堆文件，寻找无法被回收的对象

原文地址：https://www.cnblogs.com/kingszelda/p/9034191.html