苦惱
每當線上應用出現各種吞吐下降、RT增長、CPU飚高、記憶體溢出等問題的時候是不是腦闊疼。面對出現的問題,簡直就是無從下口啊。
不要慌,其實對于線上出現的各種奇葩問題,我們使用ThreadDump就能解決90%了。
很多時候根本不需要對JVM參數進行各種複雜的調優,好好看看線程棧,優化優化你的代碼,簡直就是美滋滋的提升性能。
好了,言歸正傳,下面我們就來說下線程棧重點關注的點來協助我們進行問題的排查。
線程狀态的種類
以前大家接觸到的線程狀态是:BLOCKED、WAITING、TIMED_WAITING、RUNABLE,今天我們換個說法來看,到底什麼樣的線程會出現這種狀态。
為了減少篇幅,線程棧的基本概念就不在這裡重複了,有興趣的可以看以前的文章
ThreadDump分析實戰。
1、線程狀态為“waiting for monitor entry”:
含義: 意味着它 在等待進入一個臨界區 ,是以它在”Entry Set“隊列中等待。
此時狀态: BLOCKED
舉例: java.lang.Thread.State: BLOCKED (on object monitor)
知識點:注意 "Entry Set" 就是咱們平時經常使用synchronized 的時候線程所等待的區域
2,如果大量線程在 “waiting for monitor entry”:
含義:可能是一個全局鎖阻塞住了大量線程,如果短時間内多次列印的 thread dump 檔案反映,随着時間流逝,waiting for monitor entry 的線程越來越多,沒有減少的趨勢,可能意味着某些線程在臨界區裡呆的時間太長了,以至于越來越多新線程遲遲無法進入臨界區。
此時狀态:BLOCKED
3、線程狀态為“waiting on condition”:
含義: 它在等待另一個條件的發生,來把自己喚醒,或者是它是調用了 sleep(N)。
此時狀态:WAITING || TIMED_WAITING
舉例:
java.lang.Thread.State: WAITING (parking):一直等某個條件發生
java.lang.Thread.State: TIMED_WAITING (parking或sleeping):設有逾時時間,那個條件不到來,也将定時喚醒自己。
4,如果大量線程在“waiting on condition”:
含義: 可能是它們又跑去擷取第三方資源,尤其是第三方網絡資源,遲遲擷取不到Response,導緻大量線程進入等待狀态。
是以如果你發現有大量的線程都處在 Wait on condition,從線程堆棧看,正等待網絡讀寫,這可能是一個網絡瓶頸的征兆,因為網絡阻塞導緻線程無法執行。
5、線程狀态為“in Object.wait()”:
含義:說明它獲得了螢幕之後(也就是開始執行synchronized的方法),又調用了 java.lang.Object.wait() 方法。
每個 Monitor在某個時刻,隻能被一個線程擁有,該線程就是 “Active Thread”,而其它線程都是 “Waiting Thread”,分别在兩個隊列 “ Entry Set”和 “Wait Set”裡面等候。在 “Entry Set”中等待的線程狀态是 “Waiting for monitor entry”,而在 “Wait Set”中等待的線程狀态是 “in Object.wait()”。
當線程獲得了 Monitor,如果發現線程繼續運作的條件沒有滿足,它則調用對象(一般就是被 synchronized 的對象)的 wait() 方法,放棄了 Monitor,進入 “Wait Set”隊列。
此時狀态:TIMED_WAITING || WAITING
舉例:
- java.lang.Thread.State: TIMED_WAITING (on object monitor);
- java.lang.Thread.State: WAITING (on object monitor);
知識點:一般都是RMI相關線程(RMI RenewClean、 GC Daemon、RMI Reaper),GC線程(Finalizer),引用對象垃圾回收線程(Reference Handler)等系統線程處于這種狀态,如圖。
上例子
光說肯定是幹巴巴的,下面我們來看幾個小樣,幫助大家消化消化。
Round 1
狀态:waiting for monitor entry BLOCKED
原因:這個線程在等待這個鎖 0x00000000fe7exx61,等待進入臨界區:
"RMI TCP Connection(12345)-xxx.52.xxx" daemon prio=10 tid=0x00000000405a6000 nid=0x68fe waiting for monitor entry [0x00007f2be65a3000]
java.lang.Thread.State: BLOCKED (on object monitor)
at com.xyz.goods.service.impl.GoodsServiceImpl.findChanellGoodsCountWithCache(GoodsServiceImpl.java:1734)
- waiting to lock <0x00000000fe7exx61> (a java.lang.String)
那麼目前誰持有這個鎖呢?
線上程棧中搜尋0x00000000fe7exx61,我們會發現另一個線程調用了 - locked <0x00000000fe7exx61> 對現場進行了加鎖
"RMI TCP Connection(64878)-172.16.52.117" daemon prio=10 tid=0x0000000040822000 nid=0x6841 runnable [0x00007f2be76b3000]
java.lang.Thread.State: RUNNABLE
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at java.io.BufferedInputStream.fill(BufferedInputStream.java:218)
at java.io.BufferedInputStream.read1(BufferedInputStream.java:258)
at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
- locked <0x00000000af4ed638> (a java.io.BufferedInputStream)
at org.bson.io.Bits.readFully(Bits.java:35)
at org.bson.io.Bits.readFully(Bits.java:28)
at com.mongodb.Response.<init>(Response.java:35)
at com.mongodb.DBPort.go(DBPort.java:110)
- locked <0x00000000af442d48> (a com.mongodb.DBPort)
at com.mongodb.DBPort.go(DBPort.java:75)
- locked <0x00000000af442d48> (a com.mongodb.DBPort)
at com.mongodb.DBPort.call(DBPort.java:65)
at com.mongodb.DBTCPConnector.call(DBTCPConnector.java:202)
at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:296)
at com.mongodb.DB.command(DB.java:152)
at com.mongodb.DBCollection.getCount(DBCollection.java:760)
at com.mongodb.DBCollection.getCount(DBCollection.java:731)
at com.mongodb.DBCollection.count(DBCollection.java:697)
at com.xyz.goods.manager.MongodbManager.count(MongodbManager.java:202)
at com.xyz.goods.service.impl.GoodsServiceImpl.findChanellGoodsCount(GoodsServiceImpl.java:1787)
at com.xyz.goods.service.impl.GoodsServiceImpl.findChanellGoodsCountWithCache(GoodsServiceImpl.java:1739)
- locked <0x00000000fe7exx61> (a java.lang.String)
Round 2
狀态: waiting on condition [0x00007fd4f1a59000] TIMED_WAITING
原因:等待另一個條件發生來将自己喚醒:
"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]
java.lang.Thread.State: TIMED_WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)
at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)
at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)
at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)
at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:662)
1)“TIMED_WAITING (parking)”中的 timed_waiting 指等待狀态,但這裡指定了時間,到達指定的時間後自動退出等待狀态;parking指線程處于挂起中。
2)狀态“waiting on condition” 需要與堆棧中的“parking to wait for <0x00000000acd84de8>
(a java.util.concurrent.SynchronousQueue$TransferStack)” 這一行結合來看。此時線程肯定是在等待某個條件的發生,來把自己喚醒。其次,SynchronousQueue 并不是一個隊列,隻是線程之間移交資訊的機制,當我們把一個元素放入到 SynchronousQueue 中時必須有另一個線程正在等待接受移交的任務,是以這就是本線程在等待的條件,一般是在等待任務的出現。
Round 3
狀态: TIMED_WAITING in Object.wait()
原因:就是線程主動挂起,在等待某一條件喚醒
"RMI RenewClean-[172.16.50.182:4888]" daemon prio=10 tid=0x0000000040d2c800 nid=0x97e in Object.wait() [0x00007f9ccafd0000]
java.lang.Thread.State: TIMED_WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
- waiting on <0x0000000799b032d8> (a java.lang.ref.ReferenceQueue$Lock)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)
- locked <0x0000000799b032d8> (a java.lang.ref.ReferenceQueue$Lock)
at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)
at java.lang.Thread.run(Thread.java:662)
總結
綜上所述,就是線程棧給我們帶來的資訊。當然不僅僅隻有這些,但線程的狀态變化是我們分析應用問題的必要基礎。其實分析這玩意真沒什麼技巧,大概的概念搞懂之後就是唯手熟爾咯。
愛生活,愛編碼,微信搜一搜【架構技術專欄】關注這個喜歡分享的地方。本文 [架構技術專欄]已收錄,有各種視訊、資料以及技術文章。
