點選 訂閱雲栖夜讀日刊 ,專業的技術幹貨,不容錯過!
阿裡專家原創好文
1.達摩院2020十大科技趨勢釋出:科技浪潮新十年序幕開啟
回望2019年的科技領域,靜水流深之下仍有暗潮湧動。AI晶片崛起、智能城市誕生、5G催生全新應用場景……達摩院去年預測的科技趨勢一一變為現實。科技浪潮新十年開啟,圍繞AI、晶片、雲計算、區塊鍊、工業網際網路、量子計算等領域,達摩院繼續提出最新趨勢,并斷言多個領域将出現颠覆性技術突破。
閱讀更多》》2.讀懂這本書,才算讀懂阿裡大資料
根據以往雙十一的經驗,11月12日淩晨基線任務資料量大幅增加,shuffle過程會受到巨大的挑戰,這通常也是造成當天基線延遲的主要原因,下面列出了傳統磁盤shuffle的主要問題:碎片讀:一個典型的2k*1k shuffle pipe在上遊每個mapper處理256MB資料時,一個mapper寫給一個reducer的資料量平均為256KB,而從HDD磁盤上一次讀小于256KB這個級别的資料量是很不經濟的,高iops低throughput嚴重影響作業性能。穩定性:由于HDD上嚴重的碎片讀現象,造成reduce input階段較高的出錯比率,觸發上遊重跑生成shuffle資料更是讓作業的執行時間成倍拉長。
3.9張圖總結一下阿裡雲的2019
一篇幹貨好文,值得一讀!
4.日志服務(SLS)內建 Spark 流計算實戰
日志服務作為一站式的日志的采集與分析平台,提供了各種使用者場景的日志采集能力,通過日志服務提供的各種與·與SDK,采集用戶端(Logtail),Producer,使用者可以非常容易的把各種資料源中的資料采集到日志服務的Logstore中。同時為了便于使用者對日志進行處理,提供了各種支援流式消費的SDK,如各種語言的消費組,與 Spark,Flink,Storm 等各種流計算技術無縫對接的Connector,以便于使用者根據自己的業務場景非常便捷的處理海量日志。
5.IDE 聽上去很美的 Serverless 在中國落地的怎麼樣了?
說起目前最火的技術,不得不提的一個概念就是 Serverless。2019 年幾乎所有人都在說 Serverless,實際落地 Serverless 的有多少?Serverless 作為一種新型的網際網路架構,直接或間接推動了雲計算的發展,從 AWS Lambda 到阿裡雲函數計算,Serverless 一路高歌,同時基于 Serverless 的輕量計算開始登入雲計算的舞台。
視訊課程及PPT下載下傳
1.【【雲吞鋪子】性能抖動剖析(一)
《雲吞鋪子-故障排查案例精選》重磅上線!首期我們将聚焦系統類常見問題——性能抖動,阿裡雲進階技術專家江冉将分享多年故障排查心得體會與經典案例實戰經驗。完成學習,你就是明日技術大牛!
視訊位址:
https://yq.aliyun.com/live/10372.【雲吞鋪子】性能抖動剖析(二)
《雲吞鋪子-故障排查案例精選》第2集如約而至,阿裡雲進階技術專家江冉将繼續剖析系統性能抖動的經典案例。技術+顔值,實力強到無法FU吸,速來圍觀!
https://yq.aliyun.com/live/10383.【雲吞鋪子】性能抖動剖析(三)
《雲吞鋪子——故障排查案例精選》第3集更新啦!本期我們繼續跟随阿裡雲進階技術專家江冉了解系統性能抖動的經典案例。也許,你和技術大牛之間隻差一期雲吞鋪子!
https://yq.aliyun.com/live/1078 更多精彩直播往期精彩回顧
年度回顧 | 2019 年的 Apache Flink(文末有福利) | 12月31号雲栖号夜讀(
https://yq.aliyun.com/articles/741284)更多幹貨内容 請關注阿裡雲雲栖号公衆号!
