從一起GC血案談到反射原理

前言

首先回答一下提問者的問題。這主要是由于存在大量反射而産生的臨時類加載器和 ASM 臨時生成的類，這些類會被保留在 Metaspace，一旦 Metaspace 即将滿的時候，就會觸發 FullGc，已達到回收不再被使用的類對象的目的。具體問題請參考接下來的内容，更好的了解反射的實作原理。

正文

概述

公司之前有個大記憶體系統(70G以上)一直使用CMS GC，不過因為該系統對時間很敏感，偶爾會因為gclocker導緻remark特别長(雖然加了-XX:+CMSScavReengeBeforeRemark參數，但是gclocker會導緻remark前的YGC被delay)，無法忍受這麼長的暫停就隻好遷移到了G1，經過一系列的調優之後算比較穩定了，這套參數便推到了全部機器上

可是就在上周突然有機器出現了Full GC，本來G1設計出來就是希望Full GC不在出現，出現Full GC一般是不正常，GC日志如下：

從上面日志不難發現是因為Perm觸發的Full GC，并且Full GC之後Perm就降下去了，不過需要提一下的是JDK7下正常的G1 GC是不會做類解除安裝的，隻有Full GC的時候才會解除安裝，但JDK8下是提供了相關參數的可以在G1 GC某些階段做類解除安裝

于是要業務方先做了coredump，儲存好現場再重新開機系統，然後再針對coredump做了heap dump，不過heapdump有40G這麼大，可以通過jmap -permstat core.xxx來看看究竟perm裡有什麼東西

這篇文章相對來說比較長，涉及到的知識點比較多，如果實在忍不住看下去，可以跳到最後看下我對這個問題的描述再反過來看這篇文章或許讓你有更清晰的認識

Perm裡究竟塞了什麼

既然是Perm滿了，那我們得看Perm裡究竟放了什麼，我們知道Perm裡主要存的是類的原始資料，比如我們加載了一個類，那這個類的資訊會在Perm裡配置設定記憶體來存儲它的一些資料結構，是以大部分情況下，Perm的使用量和加載的類個數是關系很大的，當然Perm裡在低版本的時候還會存一些其他的資料，比如String(String.intern()的情況)。

另外經驗告訴我們如果真的是Perm溢出，那有地方動态建構一個類加載器加載一個類的可能性會很大，通過上面的jmap指令，我們可以統計下sun.reflect.DelegatingClassLoader的個數居然達到了415737個

那基本可以鎖定是反射類加載器導緻Perm溢出的原因了，那究竟為什麼會有這麼多反射類加載器呢，反射類加載器又是什麼，接下來先簡單說下反射的原理

反射的原理

反射大家用起來很友善，由于性能其實也比較不錯了，是以用得挺廣的，我們通常這麼用反射

Method method = XXX.class.getDeclaredMethod(xx,xx);method.invoke(target,params)

不過這裡我不準備用大量的代碼來描述其原理，而是講幾個關鍵的東西，然後将他們串起來

擷取Method

要調用首先要擷取Method，而擷取Method的邏輯是通過Class這個類來的，而關鍵的幾個方法和屬性如下：

在Class裡有個關鍵的屬性叫做reflectionData，這裡主要存的是每次從jvm裡擷取到的一些類屬性，比如方法，字段等，大概長這樣

這個屬性主要是SoftReference的，也就是在某些記憶體比較苛刻的情況下是可能被回收的，不過正常情況下可以通過-XX:SoftRefLRUPolicyMSPerMB這個參數來控制回收的時機，一旦時機到了，隻要GC發生就會将其回收，那回收之後意味着再有需求的時候要重新建立一個這樣的對象，同時也需要從JVM裡重新拿一份資料，那這個資料結構關聯的Method，Field字段等都是重新生成的對象。如果是重新生成的對象那可能有什麼麻煩？講到後面就明白了

getDeclaredMethod方法其實很簡單，就是從privateGetDeclaredMethods傳回的方法清單裡複制一個Method對象傳回。而這個複制的過程是通過searchMethods實作的

如果reflectionData這個屬性的declaredMethods非空，那privateGetDeclaredMethods就直接傳回其就可以了，否則就從JVM裡去撈一把出來，并指派給reflectionData的字段，這樣下次再調用privateGetDeclaredMethods時候就可以用緩存資料了，不用每次調到JVM裡去擷取資料，因為reflectionData是Softreference，是以存在取不到值的風險，一旦取不到就又去JVM裡撈了

searchMethods将從privateGetDeclaredMethods傳回的方法清單裡找到一個同名的比對的方法，然後複制一個方法對象出來，這個複制的具體實作，其實就是Method.copy方法:

由此可見，我們每次通過調用getDeclaredMethod方法傳回的Method對象其實都是一個新的對象，是以不宜多調哦，如果調用頻繁最好緩存起來。不過這個新的方法對象都有個root屬性指向reflectionData裡緩存的某個方法，同時其methodAccessor也是用的緩存裡的那個Method的methodAccessor。

Method調用

有了Method之後，那就可以調用其invoke方法了，那先看看Method的幾個關鍵資訊

root屬性其實上面已經說了，主要指向緩存裡的Method對象，也就是目前這個Method對象其實是根據root這個Method建構出來的，是以存在一個root Method派生出多個Method的情況。

methodAccessor這個很關鍵了，其實Method.invoke方法就是調用methodAccessor的invoke方法，methodAccessor這個屬性如果root本身已經有了，那就直接用root的methodAccessor指派過來，否則的話就建立一個

MethodAccessor的實作

MethodAccessor本身就是一個接口

其主要有三種實作

• DelegatingMethodAccessorImpl
• NativeMethodAccessorImpl
• GeneratedMethodAccessorXXX

其中DelegatingMethodAccessorImpl是最終注入給Method的methodAccessor的，也就是某個Method的所有的invoke方法都會調用到這個DelegatingMethodAccessorImpl.invoke，正如其名一樣的，是做代理的，也就是真正的實作可以是下面的兩種

如果是NativeMethodAccessorImpl，那顧名思義，該實作主要是native實作的，而GeneratedMethodAccessorXXX是為每個需要反射調用的Method動态生成的類，後的XXX是一個數字，不斷遞增的

并且所有的方法反射都是先走NativeMethodAccessorImpl，預設調了15次之後，才生成一個GeneratedMethodAccessorXXX類，生成好之後就會走這個生成的類的invoke方法了

那如何從NativeMethodAccessorImpl過度到GeneratedMethodAccessorXXX呢，來看看NativeMethodAccessorImpl的invoke方法

其中我上面說的是15次就是ReflectionFactory.inflationThreshold()這個方法傳回的，這個15當然也不是一塵不變的，我們可以通過-Dsun.reflect.inflationThreshold=xxx來指定，我們還可以通過-Dsun.reflect.noInflation=true來直接繞過上面的15次NativeMethodAccessorImpl調用，和-Dsun.reflect.inflationThreshold=0的效果一樣的

而GeneratedMethodAccessorXXX都是通過new MethodAccessorGenerator().generateMethod來生成的，一旦建立好之後就設定到DelegatingMethodAccessorImpl裡去了，這樣下次Method.invoke就會調到這個新建立的MethodAccessor裡了。

那生成的GeneratedMethodAccessorXXX究竟長什麼樣呢，大概這樣了

其實就是直接調用目标對象的具體方法了，和正常的方法調用沒什麼差別

GeneratedMethodAccessorXXX的類加載器

那加載GeneratedMethodAccessorXXX的類加載器是什麼呢，在生成好了位元組碼之後會調用下面的方法做類定義

是以GeneratedMethodAccessorXXX的類加載器其實是一個DelegatingClassLoader類加載器

之是以搞一個新的類加載器，是為了性能考慮，在某些情況下可以解除安裝這些生成的類，因為類的解除安裝是隻有在類加載器可以被回收的情況下才會被回收的，如果用了原來的類加載器，那可能導緻這些新建立的類一直無法被解除安裝，從其設計來看本身就不希望他們一直存在記憶體裡的，在需要的時候有就行了，在記憶體緊俏的時候可以釋放掉記憶體

并發導緻垃圾類建立

看到這裡不知道大家是否發現了一個問題，上面的NativeMethodAccessorImpl.invoke其實都是不加鎖的，那意味着什麼？如果并發很高的時候，是不是意味着可能同時有很多線程進入到建立GeneratedMethodAccessorXXX類的邏輯裡，雖然說最終使用的其實隻會有一個，但是這些開銷是不是已然存在了，假如有1000個線程都進入到建立GeneratedMethodAccessorXXX的邏輯裡，那意味着多建立了999個無用的類，這些類會一直占着記憶體，直到能回收Perm的GC發生才會回收

那究竟是什麼方法在不斷反射呢

有了上面對反射原理的了解之後，我們知道了在反射執行到一定次數之後，其實會動态建構一個類，在這個類裡會直接調用目标對象的對應的方法，我們從heap dump裡看到了有大量的DelegatingClassLoader類加載器加載了GeneratedMethodAccessorXXX類，那這些類到底是調用了什麼方法呢，于是我們不得不做一件事，那就是将記憶體裡的這些類都dump下來，然後對位元組碼做一個統計分析一下

運作時Dump類位元組碼

我們可以利用SA的接口從coredump裡或者live程序裡将對應的類dump下來，為了dump下來我們特定的類，首先我們寫一個Filter類

使用SA的jar($JAVA_HOME/lib/sa-jdi.jar)編譯好類之後，然後我們在編譯好的類目錄下調用下面的指令進行dump

這樣我們就可以将所有的GeneratedMethodAccessor給dump下來了，這個時候我們再通過javap -verbose GeneratedMethodAccessor9随便看一個類的位元組碼

看到上面關鍵的bci為36的那行，這裡的方法便是我們反射調用的方法了，比如上面的那個反射調用的方法就是org/codehaus/xfire/util/ParamReader.readCode

定位到具體的反射類及方法

dump出這些位元組碼之後，我們對這些所有的類的位元組碼做一個統計，就找出了所有的反射調用方法，然後發現某些model類(package都是相同的)居然産生了20多萬個類，這意味着有非常多的這些model類做反射

有了這個線索之後就去看代碼究竟哪裡會有調用這些model方法的反射邏輯，但是可惜沒有找到，但是這種model對象極有可能在某種情況下出現，那就是rpc反序列化的時候，最終詢問業務方是使用的Xfire的服務，而憑借我多年架構開發積累的經驗，确定Xfire就是通過反射的方式來反序列化對象的，具體代碼如下(org.codehaus.xfire.aegis.type.basic.BeanType.writeProperty)：

而javabean的PropertyDeor裡的get/set方法，其實本身就是SoftReference包裝的

看到這裡或許大家都明白了吧，前面也已經說了SoftReference是可能被GC回收掉的，時間一到在下次GC裡就會被回收，如果被回收了，那就要重新擷取，然後相當于是調用的新的Method對象的invoke方法，那調用次數一多，就會産生新的動态建構的類，而這份類會一直存到直到可以回收Perm的GC

G1回收Perm

注意下業務系統使用的是JDK7的G1，而JDK7的G1對perm其實正常情況下是不會回收的，隻有在Full GC的時候才會回收Perm，這就解釋了經過了多次G1 GC之後，那些Softreference的對象會被回收，但是新産生的類其實并不會被回收，是以G1 GC越頻繁，那意味着SoftReference的對象越容易被回收(雖然正常情況下是時間到了，但是如果gc不頻繁，即使時間到了，也會留在記憶體裡的)，越容易被回收那就越容易産生新的類，直到Full GC發生

解決方案

• 更新到jdk8，可以在G1 GC過程中對類做解除安裝
• 換一個序列化協定，不走方法反射的，比如hessian
• 調整SoftRefLRUPolicyMSPerMB這個參數變大，不過這個不能治本

總結

上面涉及的内容非常多，如果不多讀幾遍可能難以串起來，我這裡将這個問題發生的情況大緻描述一下：

這個系統在JDK7下使用G1，而這個版本的G1隻有在Full GC的時候才會對Perm裡的類做解除安裝，該系統因為大量的請求導緻G1 GC發生很頻繁，同時該系統還設定了-XX:SoftRefLRUPolicyMSPerMB=0，那意味着SoftReference的生命周期不會跨GC周期，能很快被回收掉，這個系統存在大量的RPC調用，走的Xfire協定，對傳回結果做反序列化的時候是走的Method.invoke的邏輯，而相關的method是以被SoftReference引用，是以很容易被回收，一旦被回收，那就建立一個新的Method對象，再調用其invoke方法，在調用到一定次數(15次)之後，就建構一個新的位元組碼類，伴随着GC的進行，同一個方法的位元組碼類不斷建構，直到将Perm充滿觸發一次Full GC才得以釋放           

文章轉載自阿裡雲 MVP李嘉鵬，

檢視原文