手机网站开发最好用的框架,wordpress加入链接,wordpress鲜花商城,免费制作表白网页JVM 垃圾收集器CMS和G1
1 CMS收集器
CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。目前很大一部分的Java应用集中在互联网网站或者基于浏览器的B/S系统的服务端上#xff0c;这类应用通常都会较为关注服务的响应速度#xff0c;希望系统停顿…JVM 垃圾收集器CMS和G1
1 CMS收集器
CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。目前很大一部分的Java应用集中在互联网网站或者基于浏览器的B/S系统的服务端上这类应用通常都会较为关注服务的响应速度希望系统停顿时间尽可能短以给用户带来良好的交互体验。CMS收集器就非常符合这类应用的需求。
从名字包含“Mark Sweep”上就可以看出CMS收集器是基于标记-清除算法实现的它的运作过程相对于前面几种收集器来说要更复杂一些整个过程分为四个步骤包括
1)初始标记(CMS initial mark)2)并发标记(CMS concurrent mark)3)重新标记(CMS remark)4)并发清除(CMS concurrent sweep)
其中初始标记、重新标记这两个步骤仍然需要“Stop The World”。初始标记仅仅只是标记一下GC Roots能直接关联到的对象速度很快并发标记阶段就是从GC Roots的直接关联对象开始遍历整个对象图的过程这个过程耗时较长但是不需要停顿用户线程可以与垃圾收集线程一起并发运行而重新标记阶段则是为了修正并发标记期间因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录详见3.4.6节中关于增量更新的讲解这个阶段的停顿时间通常会比初始标记阶段稍长一些但也远比并发标记阶段的时间短最后是并发清除阶段清理删除掉标记阶段判断的已经死亡的对象由于不需要移动存活对象所以这个阶段也是可以与用户线程同时并发的。
由于在整个过程中耗时最长的并发标记和并发清除阶段中垃圾收集器线程都可以与用户线程一起工作所以从总体上来说CMS收集器的内存回收过程是与用户线程一起并发执行的。通过图3-11可以比较清楚地看到CMS收集器的运作步骤中并发和需要停顿的阶段。CMS是一款优秀的收集器它最主要的优点在名字上已经体现出来并发收集、低停顿一些官方公开文档里面也称之为“并发低停顿收集器”(Concurrent Low Pause Collector)。CMS收集器是HotSpot虚拟机追求低停顿的第一次成功尝试但是它还远达不到完美的程度至少有以下三个明显的缺点
首先CMS收集器对处理器资源非常敏感。事实上面向并发设计的程序都对处理器资源比较敏感。在并发阶段它虽然不会导致用户线程停顿但却会因为占用了一部分线程或者说处理器的计算能力而导致应用程序变慢降低总吞吐量。CMS默认启动的回收线程数是处理器核心数量3/4也就是说如果处理器核心数在四个或以上并发回收时垃圾收集线程只占用不超过25%的处理器运算资源并且会随着处理器核心数量的增加而下降。但是当处理器核心数量不足四个时CMS对用户程序的影响就可能变得很大。如果应用本来的处理器负载就很高还要分出一半的运算能力去执行收集器线程就可能导致用户程序的执行速度忽然大幅降低。为了缓解这种情况虚拟机提供了一种称为“增量式并发收集器”(Incremental Concurrent Mark Sweep/i-CMS)的CMS收集器变种所做的事情和以前单核处理器年代PC机操作系统靠抢占式多任务来模拟多核并行多任务的思想一样是在并发标记、清理的时候让收集器线程、用户线程交替运行尽量减少垃圾收集线程的独占资源的时间这样整个垃圾收集的过程会更长但对用户程序的影响就会显得较少一些直观感受是速度变慢的时间更多了但速度下降幅度就没有那么明显。实践证明增量式的CMS收集器效果很一般从JDK 7开始i-CMS模式已经被声明为“deprecated”即已过时不再提倡用户使用到JDK 9发布后i-CMS模式被完全废弃。
然后由于CMS收集器无法处理“浮动垃圾”(Floating Garbage)有可能出现“Con-current Mode Failure”失败进而导致另一次完全“Stop The World”的Full GC的产生。在CMS的并发标记和并发清理阶段用户线程是还在继续运行的程序在运行自然就还会伴随有新的垃圾对象不断产生但这一部分垃圾对象是出现在标记过程结束以后CMS无法在当次收集中处理掉它们只好留待下一次垃圾收集时再清理掉。这一部分垃圾就称为“浮动垃圾”。同样也是由于在垃圾收集阶段用户线程还需要持续运行那就还需要预留足够内存空间提供给用户线程使用因此CMS收集器不能像其他收集器那样等待到老年代几乎完全被填满了再进行收集必须预留一部分空间供并发收集时的程序运作使用。在JDK 5的默认设置下CMS收集器当老年代使用了68%的空间后就会被激活这是一个偏保守的设置如果在实际应用中老年代增长并不是太快可以适当调高参数-XXCMSInitiatingOccu-pancyFraction的值来提高CMS的触发百分比降低内存回收频率获取更好的性能。到了JDK 6时CMS收集器的启动阈值就已经默认提升至92%。但这又会更容易面临另一种风险要是CMS运行期间预留的内存无法满足程序分配新对象的需要就会出现一次“并发失败”(Concurrent Mode Failure)这时候虚拟机将不得不启动后备预案冻结用户线程的执行临时启用Serial Old收集器来重新进行老年代的垃圾收集但这样停顿时间就很长了。所以参数-XXCMSInitiatingOccupancyFraction设置得太高将会很容易导致大量的并发失败产生性能反而降低用户应在生产环境中根据实际应用情况来权衡设置。
还有最后一个缺点在本节的开头曾提到CMS是一款基于“标记-清除”算法实现的收集器如果读者对前面这部分介绍还有印象的话就可能想到这意味着收集结束时会有大量空间碎片产生。空间碎片过多时将会给大对象分配带来很大麻烦往往会出现老年代还有很多剩余空间但就是无法找到足够大的连续空间来分配当前对象而不得不提前触发一次Full GC的情况。为了解决这个问题CMS收集器提供了一个 -XXUseCMS-CompactAtFullCollection 开关参数默认是开启的此参数从JDK 9开始废弃用于在CMS收集器不得不进行Full GC时开启内存碎片的合并整理过程由于这个内存整理必须移动存活对象在Shenandoah和ZGC出现前是无法并发的。这样空间碎片问题是解决了但停顿时间又会变长因此虚拟机设计者们还提供了另外一个参数-XXCMSFullGCsBefore-Compaction此参数从JDK 9开始废弃这个参数的作用是要求CMS收集器在执行过若干次数量由参数值决定不整理空间的Full GC之后下一次进入Full GC前会先进行碎片整理默认值为0表示每次进入Full GC时都进行碎片整理。
2 Garbage First收集器
Garbage First简称G1收集器是垃圾收集器技术发展历史上的里程碑式的成果它开创了收集器面向局部收集的设计思路和基于Region的内存布局形式。早在JDK 7刚刚确立项目目标、Oracle公司制定的JDK 7 RoadMap里面G1收集器就被视作JDK 7中HotSpot虚拟机的一项重要进化特征。从JDK 6 Update 14开始就有Early Access版本的G1收集器供开发人员实验和试用但由此开始G1收集器的“实验状态”(Experimental)持续了数年时间直至JDK 7 Update 4Oracle才认为它达到足够成熟的商用程度移除了“Experimental”的标识到了JDK 8 Update 40的时候G1提供并发的类卸载的支持补全了其计划功能的最后一块拼图。这个版本以后的G1收集器才被Oracle官方称为“全功能的垃圾收集器”(Fully-Featured Garbage Collector)。
G1是一款主要面向服务端应用的垃圾收集器。HotSpot开发团队最初赋予它的期望是在比较长期的未来可以替换掉JDK 5中发布的CMS收集器。现在这个期望目标已经实现过半了JDK 9发布之日G1宣告取代Parallel Scavenge加Parallel Old组合成为服务端模式下的默认垃圾收集器而CMS则沦落至被声明为不推荐使用(Deprecate)的收集器[插图]。如果对JDK 9及以上版本的HotSpot虚拟机使用参数-XXUseConcMarkSweepGC来开启CMS收集器的话用户会收到一个警告信息提示CMS未来将会被废弃
Java HotSpot(TM) 64-Bit Server VM warning:
Option UseConcMarkSweepGC was deprecated in version 9.0
and will likely be removed in a future release.但作为一款曾被广泛运用过的收集器经过多个版本的开发迭代后CMS以及之前几款收集器的代码与HotSpot的内存管理、执行、编译、监控等子系统都有千丝万缕的联系这是历史原因导致的并不符合职责分离的设计原则。为此规划JDK 10功能目标时HotSpot虚拟机提出了“统一垃圾收集器接口”[插图]将内存回收的“行为”与“实现”进行分离CMS以及其他收集器都重构成基于这套接口的一种实现。以此为基础日后要移除或者加入某一款收集器都会变得容易许多风险也可以控制这算是在为CMS退出历史舞台铺下最后的道路了。
作为CMS收集器的替代者和继承人设计者们希望做出一款能够建立起“停顿时间模型”(Pause Prediction Model)的收集器停顿时间模型的意思是能够支持指定在一个长度为M毫秒的时间片段内消耗在垃圾收集上的时间大概率不超过N毫秒这样的目标这几乎已经是实时Java(RTSJ)的中软实时垃圾收集器特征了。
那具体要怎么做才能实现这个目标呢首先要有一个思想上的改变在G1收集器出现之前的所有其他收集器包括CMS在内垃圾收集的目标范围要么是整个新生代(Minor GC)要么就是整个老年代(Major GC)再要么就是整个Java堆(Full GC)。而G1跳出了这个樊笼它可以面向堆内存任何部分来组成回收集Collection Set一般简称CSet进行回收衡量标准不再是它属于哪个分代而是哪块内存中存放的垃圾数量最多回收收益最大这就是G1收集器的Mixed GC模式。
G1开创的基于Region的堆内存布局是它能够实现这个目标的关键。虽然G1也仍是遵循分代收集理论设计的但其堆内存的布局与其他收集器有非常明显的差异G1不再坚持固定大小以及固定数量的分代区域划分而是把连续的Java堆划分为多个大小相等的独立区域(Region)每一个Region都可以根据需要扮演新生代的Eden空间、Survivor空间或者老年代空间。收集器能够对扮演不同角色的Region采用不同的策略去处理这样无论是新创建的对象还是已经存活了一段时间、熬过多次收集的旧对象都能获取很好的收集效果。
Region中还有一类特殊的Humongous区域专门用来存储大对象。G1认为只要大小超过了一个Region容量一半的对象即可判定为大对象。每个Region的大小可以通过参数-XXG1HeapRegionSize设定取值范围为1MB32MB且应为2的N次幂。而对于那些超过了整个Region容量的超级大对象将会被存放在N个连续的Humongous Region之中G1的大多数行为都把Humongous Region作为老年代的一部分来进行看待如图3-12所示。
虽然G1仍然保留新生代和老年代的概念但新生代和老年代不再是固定的了它们都是一系列区域不需要连续的动态集合。G1收集器之所以能建立可预测的停顿时间模型是因为它将Region作为单次回收的最小单元即每次收集到的内存空间都是Region大小的整数倍这样可以有计划地避免在整个Java堆中进行全区域的垃圾收集。更具体的处理思路是让G1收集器去跟踪各个Region里面的垃圾堆积的“价值”大小价值即回收所获得的空间大小以及回收所需时间的经验值然后在后台维护一个优先级列表每次根据用户设定允许的收集停顿时间使用参数-XXMaxGCPauseMillis指定默认值是200毫秒优先处理回收价值收益最大的那些Region这也就是“Garbage First”名字的由来。这种使用Region划分内存空间以及具有优先级的区域回收方式保证了G1收集器在有限的时间内获取尽可能高的收集效率。G1将堆内存“化整为零”的“解题思路”看起来似乎没有太多令人惊讶之处也完全不难理解但其中的实现细节可是远远没有想象中那么简单否则就不会从2004年Sun实验室发表第一篇关于G1的论文后一直拖到2012年4月JDK 7 Update 4发布用将近10年时间才倒腾出能够商用的G1收集器来。G1收集器至少有不限于以下这些关键的细节问题需要妥善解决
2.1 Java堆分成多个独立的Region
譬如将Java堆分成多个独立Region后Region里面存在的跨Region引用对象如何解决解决的思路我们已经知道见3.3.1节和3.4.4节使用记忆集避免全堆作为GC Roots扫描但在G1收集器上记忆集的应用其实要复杂很多它的每个Region都维护有自己的记忆集这些记忆集会记录下别的Region指向自己的指针并标记这些指针分别在哪些卡页的范围之内。G1的记忆集在存储结构的本质上是一种哈希表Key是别的Region的起始地址Value是一个集合里面存储的元素是卡表的索引号。这种“双向”的卡表结构卡表是“我指向谁”这种结构还记录了“谁指向我”比原来的卡表实现起来更复杂同时由于Region数量比传统收集器的分代数量明显要多得多因此G1收集器要比其他的传统垃圾收集器有着更高的内存占用负担。根据经验G1至少要耗费大约相当于Java堆容量10%至20%的额外内存来维持收集器工作。
2.2 线程互不干扰地运行
譬如在并发标记阶段如何保证收集线程与用户线程互不干扰地运行这里首先要解决的是用户线程改变对象引用关系时必须保证其不能打破原本的对象图结构导致标记结果出现错误该问题的解决办法笔者已经抽出独立小节来讲解过见3.4.6节CMS收集器采用增量更新算法实现而G1收集器则是通过原始快照(SATB)算法来实现的。此外垃圾收集对用户线程的影响还体现在回收过程中新创建对象的内存分配上程序要继续运行就肯定会持续有新对象被创建G1为每一个Region设计了两个名为TAMS(Top at Mark Start)的指针把Region中的一部分空间划分出来用于并发回收过程中的新对象分配并发回收时新分配的对象地址都必须要在这两个指针位置以上。G1收集器默认在这个地址以上的对象是被隐式标记过的即默认它们是存活的不纳入回收范围。与CMS中的“Concurrent Mode Failure”失败会导致Full GC类似如果内存回收的速度赶不上内存分配的速度G1收集器也要被迫冻结用户线程执行导致Full GC而产生长时间“Stop The World”。
2.3 停顿预测模型
譬如怎样建立起可靠的停顿预测模型
用户通过 -XXMaxGCPauseMillis 参数指定的停顿时间只意味着垃圾收集发生之前的期望值但G1收集器要怎么做才能满足用户的期望呢G1收集器的停顿预测模型是以衰减均值(Decaying Average)为理论基础来实现的在垃圾收集过程中G1收集器会记录每个Region的回收耗时、每个Region记忆集里的脏卡数量等各个可测量的步骤花费的成本并分析得出平均值、标准偏差、置信度等统计信息。这里强调的“衰减平均值”是指它会比普通的平均值更容易受到新数据的影响平均值代表整体平均状态但衰减平均值更准确地代表“最近的”平均状态。换句话说Region的统计状态越新越能决定其回收的价值。然后通过这些信息预测现在开始回收的话由哪些Region组成回收集才可以在不超过期望停顿时间的约束下获得最高的收益。
2.4 四个步骤
如果我们不去计算用户线程运行过程中的动作如使用写屏障维护记忆集的操作G1收集器的运作过程大致可划分为以下四个步骤
初始标记(Initial Marking)
仅仅只是标记一下GC Roots能直接关联到的对象并且修改TAMS指针的值让下一阶段用户线程并发运行时能正确地在可用的Region中分配新对象。这个阶段需要停顿线程但耗时很短而且是借用进行Minor GC的时候同步完成的所以G1收集器在这个阶段实际并没有额外的停顿。
并发标记(Concurrent Marking)
从GC Root开始对堆中对象进行可达性分析递归扫描整个堆里的对象图找出要回收的对象这阶段耗时较长但可与用户程序并发执行。当对象图扫描完成以后还要重新处理SATB记录下的在并发时有引用变动的对象。
最终标记(Final Marking)
对用户线程做另一个短暂的暂停用于处理并发阶段结束后仍遗留下来的最后那少量的SATB记录。
筛选回收(Live Data Counting and Evacuation)
负责更新Region的统计数据对各个Region的回收价值和成本进行排序根据用户所期望的停顿时间来制定回收计划可以自由选择任意多个Region构成回收集然后把决定回收的那一部分Region的存活对象复制到空的Region中再清理掉整个旧Region的全部空间。这里的操作涉及存活对象的移动是必须暂停用户线程由多条收集器线程并行完成的。
从上述阶段的描述可以看出G1收集器除了并发标记外其余阶段也是要完全暂停用户线程的换言之它并非纯粹地追求低延迟官方给它设定的目标是在延迟可控的情况下获得尽可能高的吞吐量所以才能担当起“全功能收集器”的重任与期望[插图]。
从Oracle官方透露出来的信息可获知回收阶段(Evacuation)其实本也有想过设计成与用户程序一起并发执行但这件事情做起来比较复杂考虑到G1只是回收一部分Region停顿时间是用户可控制的所以并不迫切去实现而选择把这个特性放到了G1之后出现的低延迟垃圾收集器即ZGC中。另外还考虑到G1不是仅仅面向低延迟停顿用户线程能够最大幅度提高垃圾收集效率为了保证吞吐量所以才选择了完全暂停用户线程的实现方案。通过图3-13可以比较清楚地看到G1收集器的运作步骤中并发和需要停顿的阶段。毫无疑问可以由用户指定期望的停顿时间是G1收集器很强大的一个功能设置不同的期望停顿时间可使得G1在不同应用场景中取得关注吞吐量和关注延迟之间的最佳平衡。不过这里设置的“期望值”必须是符合实际的不能异想天开毕竟G1是要冻结用户线程来复制对象的这个停顿时间再怎么低也得有个限度。它默认的停顿目标为两百毫秒一般来说回收阶段占到几十到一百甚至接近两百毫秒都很正常但如果我们把停顿时间调得非常低譬如设置为二十毫秒很可能出现的结果就是由于停顿目标时间太短导致每次选出来的回收集只占堆内存很小的一部分收集器收集的速度逐渐跟不上分配器分配的速度导致垃圾慢慢堆积。很可能一开始收集器还能从空闲的堆内存中获得一些喘息的时间但应用运行时间一长就不行了最终占满堆引发Full GC反而降低性能所以通常把期望停顿时间设置为一两百毫秒或者两三百毫秒会是比较合理的。
从G1开始最先进的垃圾收集器的设计导向都不约而同地变为追求能够应付应用的内存分配速率(Allocation Rate)而不追求一次把整个Java堆全部清理干净。这样应用在分配同时收集器在收集只要收集的速度能跟得上对象分配的速度那一切就能运作得很完美。这种新的收集器设计思路从工程实现上看是从G1开始兴起的所以说G1是收集器技术发展的一个里程碑。
G1收集器常会被拿来与CMS收集器互相比较毕竟它们都非常关注停顿时间的控制官方资料[插图]中将它们两个并称为“The Mostly Concurrent Collectors”。在未来G1收集器最终还是要取代CMS的而当下它们两者并存的时间里分个高低优劣就无可避免。
3 相比CMS的优点
相比CMSG1的优点有很多暂且不论可以指定最大停顿时间、分Region的内存布局、按收益动态确定回收集这些创新性设计带来的红利单从最传统的算法理论上看G1也更有发展潜力。与CMS的“标记-清除”算法不同G1从整体来看是基于“标记-整理”算法实现的收集器但从局部两个Region之间上看又是基于“标记-复制”算法实现无论如何这两种算法都意味着G1运作期间不会产生内存空间碎片垃圾收集完成之后能提供规整的可用内存。这种特性有利于程序长时间运行在程序为大对象分配内存时不容易因无法找到连续内存空间而提前触发下一次收集。
不过G1相对于CMS仍然不是占全方位、压倒性优势的从它出现几年仍不能在所有应用场景中代替CMS就可以得知这个结论。比起CMSG1的弱项也可以列举出不少如在用户程序运行过程中G1无论是为了垃圾收集产生的内存占用(Footprint)还是程序运行时的额外执行负载(Overload)都要比CMS要高。
就内存占用来说虽然G1和CMS都使用卡表来处理跨代指针但G1的卡表实现更为复杂而且堆中每个Region无论扮演的是新生代还是老年代角色都必须有一份卡表这导致G1的记忆集和其他内存消耗可能会占整个堆容量的20%乃至更多的内存空间相比起来CMS的卡表就相当简单只有唯一一份而且只需要处理老年代到新生代的引用反过来则不需要由于新生代的对象具有朝生夕灭的不稳定性引用变化频繁能省下这个区域的维护开销是很划算的[插图]。
在执行负载的角度上同样由于两个收集器各自的细节实现特点导致了用户程序运行时的负载会有不同譬如它们都使用到写屏障CMS用写后屏障来更新维护卡表而G1除了使用写后屏障来进行同样的由于G1的卡表结构复杂其实是更烦琐的卡表维护操作外为了实现原始快照搜索(SATB)算法还需要使用写前屏障来跟踪并发时的指针变化情况。相比起增量更新算法原始快照搜索能够减少并发标记和重新标记阶段的消耗避免CMS那样在最终标记阶段停顿时间过长的缺点但是在用户程序运行过程中确实会产生由跟踪引用变化带来的额外负担。由于G1对写屏障的复杂操作要比CMS消耗更多的运算资源所以CMS的写屏障实现是直接的同步操作而G1就不得不将其实现为类似于消息队列的结构把写前屏障和写后屏障中要做的事情都放到队列里然后再异步处理。
以上的优缺点对比仅仅是针对G1和CMS两款垃圾收集器单独某方面的实现细节的定性分析通常我们说哪款收集器要更好、要好上多少往往是针对具体场景才能做的定量比较。按照笔者的实践经验目前在小内存应用上CMS的表现大概率仍然要会优于G1而在大内存应用上G1则大多能发挥其优势这个优劣势的Java堆容量平衡点通常在6GB至8GB之间当然以上这些也仅是经验之谈不同应用需要量体裁衣地实际测试才能得出最合适的结论随着HotSpot的开发者对G1的不断优化也会让对比结果继续向G1倾斜。
参考书名深入理解Java虚拟机JVM高级特性与最佳实践第3版
作者周志明
