天天看點

附PPT丨京東超大叢集規模下的大資料運維實踐

經過多年發展,京東大資料平台已經實作了從資料采集、存儲、計算加工、資料模型建設、可視化、機器學習等全方位數字化服務。面對超大規模帶來的運維挑戰,包括異構配置難管理、故障一緻性難保障以及成本壓力難控制,都是怎麼解決的?

附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐
附PPT丨京東超大叢集規模下的大資料運維實踐

針對各項挑戰,京東大資料平台進行了異構配置方案設計以及一系列的降本增效實踐:

  • 異構配置進行分層管理,做服務發現自主識别配置,研發智能代理進行互動,建立監聽系統,配置變更回調實時生效;
  • 系統一緻性管控,自動對系統環境配置、程式版本、配置檔案版本、Docker鏡像進行檢測自動拉齊版本,保持一緻性,資料看闆,随時檢視同步狀态;
  • 降本增效實踐,以資料驅動全鍊路優化,京東大資料SRE團隊職責涵蓋基礎運維、應用運維、資料運維,具有最強的鍊路掌控能力,成為平台降本增效的最佳推手。​

講師介紹

繼續閱讀