這篇文章，我們來聊一聊在十億級的大資料量技術挑戰下，世界上最優秀的大資料系統之一的Hadoop是如何将系統性能提升數十倍的？
首先一起來畫個圖，回顧一下Hadoop HDFS中的超大資料檔案上傳的原理。
其實說出來也很簡單，比如有個十億資料量級的超大資料檔案，可能都達到TB級了，此時這個檔案實在是太大了。
此時，HDFS用戶端會給拆成很多block，一個block就128MB。
這個HDFS用戶端你可以了解為是雲盤系統、日志采集系統之類的東西，比如有人上傳一個1TB的大檔案到網盤，或者是上傳個1TB的大日志檔案。
然後HDFS用戶端把一個一個的block上傳到第一個DataNode，第一個DataNode會把這個block複制一份，做一個副本發送給第二個DataNode，然後第二個DataNode發送一個block副本到第三個DataNode。
是以你會發現，一個block有3個副本，分布在三台機器上。任何一台機器當機，資料是不會丢失的。
然後一個TB級大檔案就被拆散成了N多個MB級的小檔案存放在很多台機器上了，這不就是分布式存儲麼？
今天要讨論的問題，就是那個HDFS用戶端上傳TB級大檔案的時候，到底是怎麼上傳呢？
如果用一個比較原始的方式來上傳，我們大概能想到的是下面這個圖裡的樣子。
其實很簡單，無非就是不停的從本地磁盤檔案用輸入流讀取資料，然後讀到一點，就立馬通過網絡的輸出流寫到DataNode裡去。
參見上圖，對檔案的輸入流最多就是個FileInputStream，對DataNode的輸出流，最多就是個Socket傳回的OutputStream，然後中間找一個小的記憶體byte[]數組，進行流對考就行了。從本地檔案讀一點資料，就給DataNode發一點資料。
但是如果真是這麼弄，性能真是極其的低下了，網絡通信講究的是适當頻率，每次batch批量發送，你得讀一大批資料，通過網絡通信發一批資料。不能讀一點點資料，就立馬來一次網絡通信，就發出去這一點點的資料。
如果按照上面這種原始的方式，絕對會導緻網絡通信效率極其低下，大檔案上傳性能很差。相當于你可能剛讀出來幾百個位元組的資料，立馬就寫網絡，卡頓個比如幾百毫秒，然後再讀下一批幾百個位元組的資料，再寫網絡卡頓個幾百毫秒，這個性能很差，幾乎在工業級的大規模分布式系統中，是無法容忍的。
Hadoop中的大檔案上傳如何優化性能？我們來看看下面那張圖。
你需要自己建立一個針對本地TB級磁盤檔案的輸入流，然後讀到資料之後立馬寫入HDFS提供的FSDataOutputStream輸出流。
這個FSDataOutputStream輸出流在幹啥呢？他會天真的立馬把資料通過網絡傳輸寫給DataNode嗎？
答案當然是否定的！這麼幹的話，不就跟之前的那種方式一樣了！
1、Chunk緩沖機制
首先，資料會被寫入一個chunk緩沖數組，這個chunk是一個512位元組大小的資料片段，你可以這麼來了解。
然後這個緩沖數組可以容納多個chunk大小的資料在裡面緩沖。光是這個緩沖，首先就可以讓用戶端快速的寫入資料了，不至于說幾百位元組就要進行一次網絡傳輸，對吧？
2、Packet資料包機制
接着，當chunk緩沖數組都寫滿了之後，就會把這個chunk緩沖數組進行一下chunk切割，切割為一個一個的chunk，一個chunk是一個資料片段。然後多個chunk會直接一次性寫入另外一個記憶體緩沖資料結構，就是Packet資料包。
一個Packet資料包，設計為可以容納127個chunk，大小大緻為64mb。是以說大量的chunk會不斷的寫入Packet資料包的記憶體緩沖中。通過這個Packet資料包機制的設計，又可以在記憶體中容納大量的資料，進一步避免了頻繁的網絡傳輸影響性能。
3、記憶體隊列異步發送機制
當一個Packet被塞滿了chunk之後，就會将這個Packet放入一個記憶體隊列來進行排隊，然後有一個DataStreamer線程會不斷的擷取隊列中的Packet資料包，通過網絡傳輸直接寫一個Packet資料包給DataNode。
如果一個Block預設是128mb的話，那麼一個Block預設會對應兩個Packet資料包，每個Packet資料包是64MB。
也就是說傳送兩個Packet資料包DataNode之後，就會發一個通知說，一個Block的資料都傳輸完畢，那DataNode就知道自己收到了一個Block了，包含了人家發送過來的兩個Packet資料包。
總結：
ok，大家看完了上面的那個圖以及hadoop采取的大檔案上傳機制，是不是感覺設計的很巧妙？
工業級的大規模分布式系統，都不會采取特别簡單的代碼和模式，那樣性能很低下。這裡都有大量的并發優化、網絡IO優化、記憶體優化、磁盤讀寫優化的架構設計、生産方案在裡面。
是以大家觀察上面那個圖，hdfs用戶端可以快速的将tb級大檔案的資料讀出來，然後快速的交給hdfs的輸出流寫入記憶體，基于記憶體裡的chunk緩沖機制、packet資料包機制、記憶體隊列異步發送機制，絕對不會有任何網絡傳輸的卡頓，導緻大檔案的上傳速度變慢。反而通過上述幾種機制，可以大幅度提升一個TB級大檔案的上傳性能。
------------- END -------------
另外推薦儒猿課堂的1元系列課程給您，歡迎加入一起學習~
網際網路Java工程師面試突擊課（1元專享）
SpringCloudAlibaba零基礎入門到項目實戰（1元專享）
億級流量下的電商詳情頁系統實戰項目（1元專享）
Kafka消息中間件核心源碼精講（1元專享）
12個實戰案例帶你玩轉Java并發程式設計（1元專享）
Elasticsearch零基礎入門到精通（1元專享）
基于Java手寫分布式中間件系統實戰（1元專享）
基于ShardingSphere的分庫分表實戰課（1元專享）