天天看點

大廠絕密!對象存儲和塊存儲系統的設計思路和落地實踐!

作者:DataFunTalk

資料是業務的基石,如何高效便捷的管理和存儲好資料,是各家網際網路公司面臨的挑戰。網際網路公司内部的存儲系統基本由對象存儲系統,NoSQL存儲系統和分布式塊存儲系統構成。其中NoSQL系統,各家以自研為主,貼近各自的業務需求。而對象存儲系統和分布式塊存儲系統,則是少數大廠的獨門秘訣。

本論壇,以幹貨為主調,邀請了相關領域的負責人來給大家分享這些系統的設計思路、日常運維心得、領域思考等。通過論壇,聽衆既可以學習到前沿的對象存儲和塊存儲設計方案,也可以學習到各家的NoSQL系統的演進路線,更可以學習到為提升系統的SLA名額,大家所做的努力。

歡迎點選「連結」了解更多資訊,下面是本論壇的詳細介紹。

出品人:司春峰 bilibili 技術專家

個人介紹:2009年畢業于南京大學。先後在EMC的統一存儲部門,百度基礎架構部和B站基礎架構部從事存儲系統的研發工作。建立了B站的對象存儲系統和KV存儲系統。目前負責B站的分布式存儲團隊。

林堂輝 bilibili 基礎架構部 資深研發工程師

個人介紹:2016年加入B站,作為核心開發親曆了B站從單體架構到微服務的架構改造,後續又負責消息隊列、服務發現、資料傳輸等微服務中間件的開發。目前負責NoSQL存儲,從零到一搭建了分布式KV存儲系統,為全站業務提供了高性能穩定可靠的存儲服務。

演講題目:如何打造一個高可靠的線上存儲系統

演講提綱:對于每天承載億級請求的線上存儲系統,如何通過多活來保證線上服務的可用性。同時對于機器故障資料損壞等,如何通過資料備份容災來保證資料的可靠性,對于資料損壞如何快速進行修複。最後,介紹一些常用的運維sop來對故障進行預防及快速響應。

聽衆收益:

1.如果打造多活存儲系統

2.如何通過point-in-time recovery來保證服務的可靠性。

3.通過完善的日常sop來對風險進行預防及快速響應。

侯雪峰 金山雲 研發專家

個人介紹:2017加入金山雲,目前負責雲存儲大資料方面的研發,曾就職于百度,對大資料架構有着深入的研究與學習,雲原生時代對計算、存儲計算分離、流計算、消息隊列方面有着深入學習和成功案例。

演講題目:金山雲大資料存算分離架構實踐

演講提綱:

1. 大資料存算分離介紹

2. 金山雲存算分離方案

3. 托管存算分離方案 Gaea

4. Serverless 存算分離方案 KS3-HDFS

聽衆收益:

1. 通過大資料存算分離,降低大資料50%以上的存儲成本

2. 存算分離結合彈性計算,節省30%以上的計算資源

3. 存算分離方案如何選型

郭波 百度雲存儲進階研發架構師

個人介紹:碩士畢業于華中科技大學計算機專業,随即加入百度基礎架構體系存儲方向,長期緻力于分布式存儲/雲存儲架構/雲存儲産品的研發和推廣,具備超過十年的相關經驗。目前作為雲存儲部門進階研發架構師負責Aries存儲系統的研發和演進,該系統作為雲存儲資料面底座,支撐了百度智能雲多個雲存儲産品以及百度網盤的資料存儲需求和快速發展,同時也負責了部分NoSQL資料庫産品的演進。

演講題目:百度雲錄音帶庫存儲架構的設計與實踐

演講提綱:本演講介紹百度雲存儲最新一代錄音帶庫存儲架構與設計,包括設計細節與實踐案例。通過該演講,聽衆可以獲得一種成功落地的大規模應用錄音帶庫的方案,并可以從中獲得一些百度雲在錄音帶庫存儲上的經驗與思考,以及分布式存儲在架構設計上的一些經驗與思考。演講内容大緻分為以下4個部分:

1. 介紹企業級錄音帶與錄音帶庫的特性及合适的應用場景;

2. 百度雲存儲資料面底座Aries系統的總體設計與概念;

3. Aries系統接入和應用錄音帶庫的架構設計細節;

4. 一個實踐案例的解析。

聽衆收益:

1. 企業級錄音帶和錄音帶庫有哪些典型特性?有哪些适合的應用場景?

2. 百度雲存儲資料面底座Aries是怎麼樣設計的?

3. Aries如何接入和應用錄音帶庫?有什麼實踐案例?

吳宏松 網易 基礎平台 資深服務端開發工程師

個人介紹:吳宏松,Curve開源社群maintainer,2015年碩士畢業,并于2016年開始在網易從事雲計算基礎設施相關工作,先後參與開發以及優化了網易第一代分布式塊存儲,Ceph以及Curve等。

演講題目:國産開源分布式存儲系統--Curve

演講提綱:

1. CurveBS介紹

簡要介紹CurveBS的架構設計,以及我們開始開發CurveBS項目的初心。

2. CurveBS結構設計特點

從CurveBS項目的一些特點展開介紹Curve,包括高性能,易運維,雲原生,更穩定等,同時分享交流一些我們系統設計方面的一些取舍。

3. CurveBS應用案例以及開源現狀

簡要介紹下CurveBS的業務應用案列以及開源現狀。

4. Curve roadmap

簡要介紹下Curve近兩年的項目規劃以及社群規劃。

聽衆收益:

1. 了解CNCF 分布式存儲項目Curve的架構以及特點

2. 了解Curve的應用案例

3. 了解Curve的RoadMap

沈泰甯 PingCAP 分布式存儲部門 進階軟體工程師

個人介紹:

● TiDB 項目 committer

● TiDB 備份恢複

● TiDB 資料同步

● TiKV 項目 committer

● grpc-rs 項目 maintainer

● rust-prometheus 項目 maintainer

演講題目:分布式事務型 KV 資料庫 TiKV 的實作和實踐

演講提綱:在這次分享中,我們将會探讨 TiKV,一款支援事務的分布式 KV 資料庫。首先,我們會介紹包括它的功能特性和應用場景;然後,我們将會闡述 TiKV 的架構和實作,了解它的分層設計,各層的算法和實作;最後,我們将讨論在過去幾年的技術發展中 TiKV 遇到的挑戰和解決方案。

聽衆收益:

1. 了解 TiKV 的使用場景和設計目标。

2. 了解分布式事務型 KV 資料庫的架構和實作。

3. 了解 TiKV 過去幾年實踐中遇到的問題和解決方案。

點選連結即可免費報名:「連結」

繼續閱讀