平時的工作中經常碰到很多疑難問題的處理，在解決問題的同時，有一些工具起到了相當大的作用，在此書寫下來，一是作為筆記，可以讓自己後續忘記了可快速翻閱，二是分享，希望看到此文的同學們可以拿出自己日常覺得幫助很大的工具，大家一起進步。
閑話不多說，開搞。
最常用的tail -f
1 基礎指令
2 比對
3 内建變量
nr:nr表示從awk開始執行後，按照記錄分隔符讀取的資料次數，預設的記錄分隔符為換行符，是以預設的就是讀取的資料行數，nr可以了解為number of record的縮寫。
fnr:在awk處理多個輸入檔案的時候，在處理完第一個檔案後，nr并不會從1開始，而是繼續累加，是以就出現了fnr，每當處理一個新檔案的時候，fnr就從1開始計數，fnr可以了解為file number of record。
nf: nf表示目前的記錄被分割的字段的數目，nf可以了解為number of field。
批量查詢vm-shopbase滿足條件的日志
tsar是咱公司自己的采集工具。很好用, 将曆史收集到的資料持久化在磁盤上，是以我們快速來查詢曆史的系統資料。當然實時的應用情況也是可以查詢的啦。大部分機器上都有安裝。
top除了看一些基本資訊之外，剩下的就是配合來查詢vm的各種問題了
獲得線程10進制轉16進制後jstack去抓看這個線程到底在幹啥
首當其沖的要說的是btrace。真是生産環境&預發的排查問題大殺器。 簡介什麼的就不說了。直接上代碼幹
檢視目前誰調用了arraylist的add方法，同時隻列印目前arraylist的size大于500的線程調用棧
@onmethod(clazz = "java.util.arraylist", method="add", location = @location(value = kind.call, clazz = "/./", method = "/./"))
public static void m(@probeclassname string probeclass, @probemethodname string probemethod, @targetinstance object instance, @targetmethodorfield string method) {
}
監控目前服務方法被調用時傳回的值以及請求的參數
@onmethod(clazz = "com.taobao.sellerhome.transfer.biz.impl.c2capplyerserviceimpl", method="nav", location = @location(value = kind.return))
public static void mt(long userid, int current, int relation, string check, string redirecturl, @return anytype result) {
其他功能集團的一些工具或多或少都有，就不說了。感興趣的請移步。
<a href="https://github.com/btraceio/btrace">https://github.com/btraceio/btrace</a>
注意:
經過觀察，1.3.9的release輸出不穩定，要多觸發幾次才能看到正确的結果
正規表達式比對trace類時範圍一定要控制，否則極有可能出現跑滿cpu導緻應用卡死的情況
由于是位元組碼注入的原理，想要應用恢複到正常情況，需要重新開機應用。
greys是@杜琨的大作吧。說幾個挺棒的功能(部分功能和btrace重合):
<code>sc -df xxx</code>: 輸出目前類的詳情,包括源碼位置和classloader結構
其他功能部分和btrace重合，可以選用，感興趣的請移步。
<a href="http://www.atatech.org/articles/26247">http://www.atatech.org/articles/26247</a>
就說一個功能
<code>classes</code>：通過修改了位元組碼，改變了類的内容，即時生效。 是以可以做到快速的在某個地方打個日志看看輸出，缺點是對代碼的侵入性太大。但是如果自己知道自己在幹嘛，的确是不錯的玩意兒。
其他功能greys和btrace都能很輕易做的到，不說了。
之前判斷許多問題要通過jprofiler，但是現在greys和btrace基本都能搞定了。再加上出問題的基本上都是生産環境(網絡隔離)，是以基本不怎麼使用了，但是還是要标記一下。
可作為eclipse的插件，也可作為單獨的程式打開。
集團内的開發應該是無人不知無人不曉了。簡而言之一句話:有了zprofiler還要mat幹嘛
我隻用一條指令：
普通用法:
native+java棧:
可看系統啟動的參數，如下
兩個用途
1.檢視堆的情況
2.dump
或者
3.看看堆都被誰占了? 再配合zprofiler和btrace，排查問題簡直是如虎添翼
jstat參數衆多，但是使用一個就夠了
時至今日，jdb也是經常使用的。
jdb可以用來預發debug,假設你預發的java_home是/opt/taobao/java/，遠端調試端口是8000.那麼
<code>sudo -u admin /opt/taobao/java/bin/jdb -attach 8000</code>.
出現以上代表jdb啟動成功。後續可以進行設定斷點進行調試。
chlsdb感覺很多情況下可以看到更好玩的東西，不詳細叙述了。 查詢資料聽說jstack和jmap等工具就是基于它的。
更詳細的可見r大此貼
<a href="http://rednaxelafx.iteye.com/blog/1847971">http://rednaxelafx.iteye.com/blog/1847971</a>
快捷鍵一次你記不住，多來幾次你總能記住了吧？
分析maven依賴的好幫手。
你的類到底是從哪個檔案加載進來的？
應用挂了輸出dump檔案
把這個單獨寫個大标題不過分吧？每個人或多或少都處理過這種煩人的case。我特麼下邊這麼多方案不信就搞不定你?
打出所有依賴
隻打出指定groupid和artifactid的依賴關系
vm啟動腳本加入。在tomcat啟動腳本中可見加載類的詳細資訊
greys的sc指令也能清晰的看到目前類是從哪裡加載過來的
通過以下url可以獲知目前類是從哪裡加載的
列出容器加載的jar清單
列出目前當目前類加載的實際jar包位置，解決類沖突時有用
<a href="http://www.atatech.org/articles/33317">http://www.atatech.org/articles/33317</a>
如果發現自己的java程序悄無聲息的消失了，幾乎沒有留下任何線索，那麼dmesg一發，很有可能有你想要的。
去找關鍵字oom_killer。找到的結果類似如下:
以上表明，對應的java程序被系統的oom killer給幹掉了，得分為854.
解釋一下oom killer（out-of-memory killer），該機制會監控機器的記憶體資源消耗。當機器記憶體耗盡前，該機制會掃描所有的程序（按照一定規則計算，記憶體占用，時間等），挑選出得分最高的程序，然後殺死，進而保護機器。
dmesg日志時間轉換公式:
log實際時間=格林威治1970-01-01+(目前時間秒數-系統啟動至今的秒數+dmesg列印的log時間)秒數：
剩下的，就是看看為什麼記憶體這麼大，觸發了oom-killer了。