做网站要学点什么,建站宝盒模板,wordpress 臃肿,天津响应式网页建设公司一、内存调优
1.内存溢出和内存泄漏
内存泄漏#xff08;memory leak#xff09;#xff1a;在Java中如果不再使用一个对象#xff0c;但是该对象依然在GC ROOT的引用链上#xff0c;这个对象就不会被垃圾回收器回收#xff0c;这种情况就称之为内存泄漏。内存泄漏绝大…一、内存调优
1.内存溢出和内存泄漏
内存泄漏memory leak在Java中如果不再使用一个对象但是该对象依然在GC ROOT的引用链上这个对象就不会被垃圾回收器回收这种情况就称之为内存泄漏。内存泄漏绝大多数情况都是由堆内存泄漏引起的所以后续没有特别说明则讨论的都是堆内存泄漏。 2.内存泄漏的常见场景
内存泄漏导致溢出的常见场景是大型的Java后端应用中在处理用户的请求之后没有及时将用户的数据删除。随着用户请求数量越来越多内存泄漏的对象占满了堆内存最终导致内存溢出。这种产生的内存溢出会直接导致用户请求无法处理影响用户的正常使用。重启可以恢复应用使用但是在运行一段时间之后依然会出现内存溢出。第二种常见场景是分布式任务调度系统如Elastic-job、Quartz等进行任务调度时被调度的Java应用在调度任务结束中出现了内存泄漏最终导致多次调度之后内存溢出。这种产生的内存溢出会导致应用执行下次的调度任务执行。同样重启可以恢复应用使用但是在调度执行一段时间之后依然会出现内存溢出。
3.解决内存溢出的思路
检测问题工具
Top命令
top命令是linux下用来查看系统信息的一个命令它提供给我们去实时地去查看系统的资源比如执行时的进程、线程和系统参数等信息。进程使用的内存为RES常驻内存- SHR共享内存 VisualVM
VisualVM是多功能合一的Java故障排除工具并且他是一款可视化工具整合了命令行 JDK 工具和轻量级分析功能功能非常强大。这款软件在Oracle JDK 6~8 中发布但是在 Oracle JDK 9 之后不在JDK安装目录下需要单独下载。下载地址https://visualvm.github.io/ Arthas
Arthas 是一款线上监控诊断产品通过全局视角实时查看应用 load、内存、gc、线程的状态信息并能在不修改应用代码的情况下对业务问题进行诊断包括查看方法调用的出入参、异常监测方法执行耗时类加载信息等大大提升线上问题排查效率。 Prometheus Grafana
PrometheusGrafana是企业中运维常用的监控方案其中Prometheus用来采集系统或者应用的相关数据同时具备告警功能。Grafana可以将Prometheus采集到的数据以可视化的方式进行展示。 堆内存状况的对比 产生内存溢出原因一 代码中的内存泄漏
1、equals()和hashCode()导致的内存泄漏
2、非静态的内部类和匿名内部类的错误使用导致内存泄漏
3、由于线程池中的线程不被回收导致的ThreadLocal内存泄漏
4、由于JDK6中的字符串常量池位于永久代intern被大量调用并保存产生的内存泄漏
5、大量的数据在静态变量中被引用但是不再使用成为了内存泄漏
产生内存溢出原因二 并发请求问题
并发请求问题指的是用户通过发送请求向Java应用获取数据正常情况下Java应用将数据返回之后这部分数据就可以在内存中被释放掉。并发请求问题指的是用户通过发送请求向Java应用获取数据正常情况下Java应用将数据返回之后这部分数据就可以在内存中被释放掉。但是由于用户的并发请求量有可能很大同时处理数据的时间很长导致大量的数据存在于内存中最终超过了内存的上限导致内存溢出。这类问题的处理思路和内存泄漏类似首先要定位到对象产生的根源。
诊断 – 内存快照
当堆内存溢出时需要在堆内存溢出时将整个堆内存保存下来生成内存快照(Heap Profile )文件。 生成内存快照的Java虚拟机参数 -XX:HeapDumpOnOutOfMemoryError发生OutOfMemoryError错误时自动生成hprof内存快照文件。-XX:HeapDumpPathpath指定hprof文件的输出路径。使用MAT打开hprof文件并选择内存泄漏检测功能MAT会自行根据内存快照中保存的数据分析内存泄漏的根源。
MAT内存泄漏检测的原理 – 支配树
MAT提供了称为支配树Dominator Tree的对象图。支配树展示的是对象实例间的支配关系。在对象引用图中所有指向对象B的路径都经过对象A则认为对象A支配对象B。 MAT内存泄漏检测的原理 – 深堆和浅堆
支配树中对象本身占用的空间称之为浅堆(Shallow Heap。
支配树中对象的子树就是所有被该对象支配的内容这些内容组成了对象的深堆Retained Heap也称之为保留集 Retained Set 。深堆的大小表示该对象如果可以被回收能释放多大的内存空间。 解决内存溢出的思路
修复问题
并发引起内存溢出 – 设计不当
系统的方案设计不当比如从数据库获取超大数据量的数据线程池设计不当生产者-消费者模型消费者消费性能问题
解决方案优化设计方案
并发引起内存溢出 - 参数不当
由于参数设置不当比如堆内存设置过小导致并发量增加之后超过堆内存的上限。
解决方案调整参数
二、GC调优
GC调优
GC调优指的是对垃圾回收Garbage Collection进行调优。GC调优的主要目标是避免由垃圾回收引起程序性能下降。
GC调优的核心分成三部分
1、通用Jvm参数的设置。
2、特定垃圾回收器的Jvm参数的设置。
3、解决由频繁的FULLGC引起的程序性能问题。
GC调优没有没有唯一的标准答案如何调优与硬件、程序本身、使用情况均有关系重点学习调优的工具和方法。
GC调优的核心指标
所以判断GC是否需要调优需要从三方面来考虑与GC算法的评判标准类似
1.吞吐量(Throughput) 吞吐量分为业务吞吐量和垃圾回收吞吐量
业务吞吐量指的在一段时间内程序需要完成的业务数量。比如企业中对于吞吐量的要求可能会是这样的
支持用户每天生成10000笔订单在晚上8点到10点支持用户查询50000条商品信息
保证高吞吐量的常规手段有两条
1、优化业务执行性能减少单次业务的执行时间
2、优化垃圾回收吞吐量
垃圾回收吞吐量
垃圾回收吞吐量指的是 CPU 用于执行用户代码的时间与 CPU 总执行时间的比值即吞吐量 执行用户代码时间 /执行用户代码时间 GC时间。吞吐量数值越高垃圾回收的效率就越高允许更多的CPU时间去处理用户的业务相应的业务吞吐量也就越高。 2. 延迟Latency
延迟指的是从用户发起一个请求到收到响应这其中经历的时间。比如企业中对于延迟的要求可能会是这样的
所有的请求必须在5秒内返回给用户结果
延迟 GC延迟 业务执行时间所以如果GC时间过长会影响到用户的使用。 3. 内存使用量
内存使用量指的是Java应用占用系统内存的最大值一般通过Jvm参数调整在满足上述两个指标的前提下这个值越小越好。 发现问题工具
jstat工具
Jstat工具是JDK自带的一款监控工具可以提供各种垃圾回收、类加载、编译信息等不同的数据。使用方法为jstat -gc 进程ID 每次统计的间隔毫秒 统计次数 visualvm插件
VisualVm中提供了一款Visual Tool插件实时监控Java进程的堆内存结构、堆内存变化趋势以及垃圾回收时间的变化趋势。同时还可以监控对象晋升的直方图。 Prometheus Grafana
PrometheusGrafana是企业中运维常用的监控方案其中Prometheus用来采集系统或者应用的相关数据同时具备告警功能。Grafana可以将Prometheus采集到的数据以可视化的方式进行展示。 GC日志
通过GC日志可以更好的看到垃圾回收细节上的数据同时也可以根据每款垃圾回收器的不同特点更好地发现存在的问题。使用方法JDK 8及以下-XX:PrintGCDetails -Xloggc:文件名使用方法JDK 9-Xlog:gc*:file文件名
GC Viewer
GCViewer是一个将GC日志转换成可视化图表的小工具github地址
https://github.com/chewiebug/GCViewer
使用方法java -jar gcviewer_1.3.4.jar 日志文件.log
GCeasy
GCeasy是业界首款使用AI机器学习技术在线进行GC分析和诊断的工具。定位内存泄漏、GC延迟高的问题提供JVM参数优化建议支持在线的可视化工具图表展示。
官方网站https://gceasy.io/
常见的GC模式
特点呈现锯齿状对象创建之后内存上升一旦发生垃圾回收之后下降到底部并且每次下降之后的内存大小接近存留的对象较少。
一、正常情况
特点呈现锯齿状对象创建之后内存上升一旦发生垃圾回收之后下降到底部并且每次下降之后的内存大小接近存留的对象较少。 二、缓存对象过多
特点呈现锯齿状对象创建之后内存上升一旦发生垃圾回收之后下降到底部并且每次下降之后的内存大小接近处于比较高的位置。
问题产生原因 程序中保存了大量的缓存对象导致GC之后无法释放可以使用MAT或者HeapHero等工具进行分析内存占用的原因。 三、内存泄漏
特点呈现锯齿状每次垃圾回收之后下降到的内存位置越来越高最后由于垃圾回收无法释放空间导致对象无法分配产生OutOfMemory的错误。
问题产生原因 程序中保存了大量的内存泄漏对象导致GC之后无法释放可以使用MAT或者HeapHero等工具进行分析是哪些对象产生了内存泄漏。 四、持续的FullGC
特点在某个时间点产生多次Full GCCPU使用率同时飙高用户请求基本无法处理。一段时间之后恢复正常。 问题产生原因 在该时间范围请求量激增程序开始生成更多对象同时垃圾收集无法跟上对象创建速率导致·持续地在进行FULL GC。GC分析报告 五、元空间不足导致的FULLGC
特点堆内存的大小并不是特别大但是持续发生FULLGC。
问题产生原因 元空间大小不足导致持续FULLGC回收元空间的数据。GC分析报告 解决GC问题的手段
优化基础JVM参数
参数1 -Xmx 和 –Xms
-Xmx参数设置的是最大堆内存但是由于程序是运行在服务器或者容器上计算可用内存时要将元空间、操作系统、其它软件占用的内存排除掉。 优化基础JVM参数
参数1 -Xmx 和 –Xms
-Xms用来设置初始堆大小建议将-Xms设置的和-Xmx一样大有以下几点好处
运行时性能更好堆的扩容是需要向操作系统申请内存的这样会导致程序性能短期下降。可用性问题如果在扩容时其他程序正在使用大量内存很容易因为操作系统内存不足分配失败。启动速度更快Oracle官方文档的原话如果初始堆太小Java 应用程序启动会变得很慢因为 JVM 被迫频繁执行垃圾收集直到堆增长到更合理的大小。为了获得最佳启动性能请将初始堆大小设置为与最大堆大小相同。
参数2 -XX:MaxMetaspaceSize 和 –XX:MetaspaceSize
-XX:MaxMetaspaceSize值 参数指的是最大元空间大小默认值比较大如果出现元空间内存泄漏会让操作系统可用内存不可控建议根据测试情况设置最大值一般设置为256m。
-XX:MetaspaceSize值 参数指的是到达这个值之后会触发FULLGC网上很多文章的初始元空间大小是错误的后续什么时候再触发JVM会自行计算。如果设置为和MaxMetaspaceSize一样大就不会FULLGC但是对象也无法回收。
参数3 -Xss虚拟机栈大小
如果我们不指定栈的大小JVM 将创建一个具有默认大小的栈。大小取决于操作系统和计算机的体系结构。 比如Linux x86 64位 1MB如果不需要用到这么大的栈内存完全可以将此值调小节省内存空间合理值为256k – 1m之间。
使用-Xss256k
参数4 不建议手动设置的参数
由于JVM底层设计极为复杂一个参数的调整也许让某个接口得益但同样有可能影响其他更多接口。
‐XX:SurvivorRatio 伊甸园区和幸存者区的大小比例默认值为8。
‐XX:MaxTenuringThreshold 最大晋升阈值年龄大于此值之后会进入老年代。另外JVM有动态年龄判断机制将年龄从小到大的对象占据的空间加起来如果大于survivor区域的50%然后把等于或大于该年龄的对象放入到老年代。 其他参数
-XX:DisableExplicitGC
禁止在代码中使用System.gc() System.gc()可能会引起FULLGC在代码中尽量不要使用。使用 DisableExplicitGC参数可以禁止使用System.gc()方法调用。
-XX:HeapDumpOnOutOfMemoryError发生OutOfMemoryError错误时自动生成hprof内存快照文件。
-XX:HeapDumpPathpath指定hprof文件的输出路径。
打印GC日志
JDK8及之前 -XX:PrintGCDetails -XX:PrintGCDateStamps -Xloggc:文件路径
JDK9及之后 -Xlog:gc*:file文件路径
JVM参数模板
-Xms1g
-Xmx1g
-Xss256k
-XX:MaxMetaspaceSize512m
-XX:DisableExplicitGC
-XX:HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath/opt/logs/my-service.hprof
-XX:PrintGCDetails
-XX:PrintGCDateStamps
-Xloggc:文件路径
注意
JDK9及之后gc日志输出修改为 -Xlog:gc*:file文件名
堆内存大小和栈内存大小根据实际情况灵活调整。
垃圾回收器的选择
垃圾回收器的组合关系
垃圾回收器是垃圾回收算法的具体实现。 性能调优
应用程序在运行过程中经常会出现性能问题比较常见的性能问题现象是
1、通过top命令查看CPU占用率高接近100甚至多核CPU下超过100都是有可能的。
2、请求单个服务处理时间特别长多服务使用skywalking等监控系统来判断是哪一个环节性能低下。
3、程序启动之后运行正常但是在运行一段时间之后无法处理任何的请求内存和GC正常。
线程转储的查看方式
线程转储Thread Dump提供了对所有运行中的线程当前状态的快照。线程转储可以通过jstack、visualvm等工具获取。其中包含了线程名、优先级、线程ID、线程状态、线程栈信息等等内容可以用来解决CPU占用率高、死锁等问题。 线程转储Thread Dump中的几个核心内容
名称 线程名称通过给线程设置合适的名称更容易“见名知意”优先级prio线程的优先级Java IDtidJVM中线程的唯一ID本地 ID (nid)操作系统分配给线程的唯一ID状态线程的状态分为 NEW – 新创建的线程尚未开始执行RUNNABLE –正在运行或准备执行BLOCKED – 等待获取监视器锁以进入或重新进入同步块/方法WAITING – 等待其他线程执行特定操作没有时间限制TIMED_WAITING – 等待其他线程在指定时间内执行特定操作TERMINATED – 已完成执行TERMINATED – 已完成执行
更精细化的性能测试
JIT对程序性能的影响
Java程序在运行过程中JIT即时编译器会实时对代码进行性能优化所以仅凭少量的测试是无法真实反应运行系统最终给用户提供的性能。如下图随着执行次数的增加程序性能会逐渐优化。 正确地测试代码性能
OpenJDK中提供了一款叫JMHJava Microbenchmark Harness的工具可以准确地对Java代码进行基准测试量化方法的执行性能。
官网地址https://github.com/openjdk/jmh
JMH会首先执行预热过程确保JIT对代码进行优化之后再进行真正的迭代测试最后输出测试的结果。
