目錄
- 一、前情概要
- 二、背景引入
- 三、問題凸現
- 四、Hadoop的優化方案
一、前情概要
這篇文章給大家聊聊Hadoop在部署了大規模的叢集場景下，大量用戶端并發寫資料的時候，檔案契約監控算法的性能優化。
看懂這篇文章需要一些Hadoop的基礎知識背景，還不太了解的兄弟，可以先看看之前的文章：兄弟們給我10分鐘，帶你了解一下大資料技術的入門原理和架構設計
二、背景引入
先給大家引入一個小的背景，假如多個用戶端同時要并發的寫Hadoop HDFS上的一個檔案，大家覺得這個事兒能成嗎？
明顯不可以接受啊，兄弟們，HDFS上的檔案是不允許并發寫的，比如并發的追加一些資料什麼的。
是以說，HDFS裡有一個機制，叫做檔案契約機制。
也就是說，同一時間隻能有一個用戶端擷取NameNode上面一個檔案的契約，然後才可以寫入資料。此時如果其他用戶端嘗試擷取檔案契約的時候，就擷取不到，隻能幹等着。
通過這個機制，就可以保證同一時間隻有一個用戶端在寫一個檔案。
在擷取到了檔案契約之後，在寫檔案的過程期間，那個用戶端需要開啟一個線程，不停的發送請求給NameNode進行檔案續約，告訴NameNode：
NameNode大哥，我還在寫檔案啊，你給我一直保留那個契約好嗎？
而NameNode内部有一個專門的背景線程，負責監控各個契約的續約時間。
如果某個契約很長時間沒續約了，此時就自動過期掉這個契約，讓别的用戶端來寫。
說了這麼多，老規矩，給大家來一張圖，直覺的感受一下整個過程。
三、問題凸現
好，那麼現在問題來了，假如我們有一個大規模部署的Hadoop叢集，同時存在的用戶端可能多達成千上萬個。
此時NameNode内部維護的那個檔案契約清單會非常非常的大，而監控契約的背景線程又需要頻繁的每隔一段時間就檢查一下所有的契約是否過期。
比如，每隔幾秒鐘就周遊大量的契約，那麼勢必造成性能不佳，是以說這種契約監控機制明顯是不适合大規模部署的hadoop叢集的。
四、Hadoop的優化方案
那麼Hadoop是如何對檔案契約監控算法進行優化的呢？咱們來一步一步的看一下他的實作邏輯。
首先，我們一起來看看下面這張手繪圖：
其實奧秘十分的簡單，每次一個用戶端發送續約請求之後，就設定這個契約的最近一次續約時間。
然後，基于一個TreeSet資料結構來根據最近一次續約時間對契約進行排序，每次都把續約時間最老的契約排在最前頭，這個排序後的契約資料結構十分的重要。
TreeSet是一種可排序的資料結構，他底層基于TreeMap來實作。
TreeMap底層則基于紅黑樹來實作，可以保證元素沒有重複，同時還能按照我們自己定義的排序規則在你每次插入一個元素的時候來進行自定義的排序。
是以這裡我們的排序規則：就是按照契約的最近一次續約時間來排序。
其實這個優化就是如此的簡單，就是維護這麼一個排序資料結構而已。
我們現在來看一下Hadoop中的契約監控的源碼實作：
每次檢查契約是否過期的時候，你不要周遊成千上萬的契約，那樣周遊效率當然會很低下。
我們完全可以就從TreeSet中擷取續約時間最老的那個契約，假如說連最近一次續約時間最老的那個契約都還沒過期，那麼就不用繼續檢查了啊！這說明續約時間更近的那些契約絕對不會過期！
舉個例子：續約時間最老的那個契約，最近一次續約的時間是10分鐘以前，但是我們判斷契約過期的限制是超過15分鐘不續約就過期那個契約。
這個時候，連10分鐘以前續約的契約都沒有過期，那麼那些8分鐘以前，5分鐘以前續約的契約，肯定也不會過期啊！
這個機制的優化對性能的提升是相當有幫助的，因為正常來說，過期的契約肯定還是占少數，是以壓根兒不用每次都周遊所有的契約來檢查是否過期。
我們隻需要檢查續約時間最舊的那幾個契約就可以了，如果一個契約過期了，那麼就删掉那個契約，然後再檢查第二舊的契約好了。以此類推。
通過這個TreeSet排序 + 優先檢查最舊契約的機制，有效的将大規模叢集下的契約監控機制的性能提升至少10倍以上，這種思想是非常值得我們學習和借鑒的。
給大家稍微引申一下，在Spring Cloud微服務架構中，Eureka作為注冊中心其實也有續約檢查的機制，跟Hadoop是類似的。
如果想了解Eureka注冊中心相關技術的朋友，建議看一下：用SpringCloud的時候胡亂寫配置的兄弟們，事故加班一定很多
但是在Eureka中就沒有實作類似的續約優化機制，而是暴力的每一輪都周遊所有的服務執行個體的續約時間。
如果你面對的是一個大規模部署的微服務系統呢，情況就不妙了！
部署了幾十萬台機器的大規模系統，有幾十萬個服務執行個體的續約資訊駐留在Eureka的記憶體中，難道每隔幾秒鐘都要周遊幾十萬個服務執行個體的續約資訊嗎？
最後給大家提一句，優秀的開源項目，蘊含着很多優秀的設計思想。多看各種優秀開源項目的源碼，是短時間内快速、大幅度提升一個人的技術功底和技術水準的方式，大家不妨嘗試一下。