天天看點

大資料和雲計算技術周報(第91期)

導語

“大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、存儲、網絡都涉及,知識點廣、學習難度高。

本期會給大家奉獻上精彩的:redis、Spark、算法、Hbase、kylin和phoneix、Spark與Alluxio、實時數倉、Mysql索引、Redis、LOT。全是幹貨,希望大家喜歡!!!

#大資料和雲計算技術社群#希望通過堅持定期分享能幫助同學在大資料學習道路上盡一份微網誌之力。相信長期堅持認真閱讀周報的同學,在技術的道路上一定會日益精進!感謝編輯們的長期堅持!也請同學們繼續打賞,支援社群,支援編輯們持續奉獻高品質知識!

#大資料和雲計算技術社群#長期招募有興趣參與社群編輯和營運的同學,歡迎掃描文末二維碼聯系(參與社群工作,收獲知識和進步,還有紅包哦)。

特别提醒,文末有驚喜!

以下是正文,限于衆編輯水準有限,不保證大家都喜歡。(如果連結不能點開 請用二維碼 謝謝)

1HBase

文章首先回顧了 HBase 的資料模型和資料層級結構,對資料的每個層級的作用和構架均進行了詳細闡述;随後介紹了資料寫入和讀取的詳細流程;最後介紹了老版本到新版本 Region 查找的演進。

https://mp.weixin.qq.com/s/xHQfBxi53NfkQzRM7e75fg

2spark

當下,企業越來越重視資料資産的價值,并以此作為提高行業競争力的重要支撐。海量、多源的資料處理是實作其資料價值的必備能力。以Hadoop/Spark為核心的大資料處理技術已經成為現代企業資料平台的标準。為應對業務使用者對工作負載自助分析的期望,eBay大資料團隊開發出一套面向管理者和業務使用者的Workload Analytics System

https://mp.weixin.qq.com/s/nitBi7cvQZCnCv0RMFZnNw

3算法

在過去,很多巧妙的計算機算法設計,改變了我們的計算技術。通過操作标準計算機中提供的中間運算符,可以産生很多的高效函數。這些函數導緻了計算機程式的複雜性和多樣性,這也是今天計算機時代快速發展的重要原因。我們列舉了一些算法,它們改變了我們的計算機使用。

https://mp.weixin.qq.com/s/m6mMl9P-vrTmAzKMCTg7Jg

4kylin和phoneix

詳細對比了kylin和phoneix的能力。

https://mp.weixin.qq.com/s/CQ9nlO14Do0Q0_Y6QU9jBw

5Hbase

本文首先對 HBase 做簡單的介紹,包括其整體架構、依賴元件、核心服務類的相關解析。再重點介紹 HBase 讀取資料的流程分析,并根據此流程介紹如何在用戶端以及服務端優化性能,同時結合有贊線上 HBase 叢集的實際應用情況,将理論和實踐結合

https://mp.weixin.qq.com/s/cj-HJNfZ2O7kCAFNL4l7Eg

6Spark與Alluxio

本文講述了以Apache Spark與Alluxio為核心的新型大資料技術生态體系來建構中國聯通大資料平台。

https://mp.weixin.qq.com/s/VipVaZ4T_7_hC_3fpfGQVw

7實時數倉

資料智能” (Data Intelligence) 有一個必須且基礎的環節,就是資料倉庫的建設,同時,資料倉庫也是公司資料發展到一定規模後必然會提供的一種基礎服務。從智能商業的角度來講,資料的結果代表了使用者的回報,擷取結果的及時性就顯得尤為重要,快速的擷取資料回報能夠幫助公司更快的做出決策,更好的進行産品疊代,實時數倉在這一過程中起到了不可替代的作用。

https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A

8Mysql索引

從底層的索引存儲結構來講B樹索引,值得一看。

https://mp.weixin.qq.com/s/iysNHTVn-Ch8-wBIAYjNMA

9LOT

建構智能家居的神器HomeAssistant

智能家居開源系統是一款基于 Python 的智能家居開源系統,支援衆多品牌的智能家居裝置,可以輕松實作裝置的語音控制、自動化等。

https://mp.weixin.qq.com/s/PRGaLpO975R8fUn7UVmTdQ

10redis

redis是單程序單線程模型,keys和smembers這種指令可能會阻塞伺服器,是以出現了scan系列的指令,通過傳回一個遊标,可以增量式疊代.本文介紹了scan 指令的實作原理。

https://segmentfault.com/a/1190000018218584

11開心一刻

一個測試工程師走進酒吧,要了一杯啤酒,要了0杯啤酒,要了999999999杯啤酒,要了一隻蜥蜴,要了-1杯啤酒,要了一個sfdeljknesv,酒保從容應對,測試工程師很滿意。接下來,一名顧客來到了同一個酒吧,問廁所在哪,酒吧頓時起了大火,然後整個建築坍塌了。

緻謝:

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍随、黃文輝、郭飛