天天看點

騰訊雲存儲實踐與SequoiaDB資料庫詳解

2014年5月17日(周六)、18日(周日)兩天,我們在深圳舉行了“大資料開放日”活動。本次活動的目的是為普及大資料相關知識,促進廣州、深圳地區大資料愛好者的交流,增強企業使用大資料相關開源項目的意識。

本活動由 CSDN CODE與 騰訊大講堂聯合主辦,同時得到了CSDN開源戰略合作夥伴 騰訊公司、 騰訊雲、 騰訊基金會的大力支援。

本次“大資料開放日(深圳)”進行了兩場,分别是5月17日(周六)下午的暢聊沙龍和5月18日(周日)全天的大資料專場教育訓練。活動邀請了來自騰訊資料平台部的進階工程師趙偉、巨杉軟體公司CTO王濤等廣東地區的知名企業的大資料項目負責人為大家分享企業在大資料方面的實踐故事。雖然深圳天氣變化多端,但參加本次活動的小夥伴們熱情很高,對此,我們表示非常感謝。

下面是本次活動的簡單報道。

一、TDW:騰訊開源的分布式資料倉庫

騰訊分布式資料倉庫(Tencent distributed Data Warehouse,簡稱 TDW),是騰訊工程技術事業群資料平台部基于開源軟體研發的大資料處理平台,它基于Hadoop、Hive、PostgreSQL之上進行研發,并在開源軟體的基礎上做了大量的定制和優化。

騰訊雲存儲實踐與SequoiaDB資料庫詳解

目前,TDW是騰訊内部規模最大的分布式系統,集中了騰訊内部各個産品的資料,為騰訊的各個産品提供海量資料存儲和分析服務,包括資料挖掘、産品報表、經營分析等服務。TDW作為騰訊首批對外開源軟體,代碼已經托管到CSDN CODE平台。

TDW代碼托管位址: https://code.csdn.net/Tencent/tdw

關于TDW的詳情,可參閱文章:《【資料】TDW:騰訊開源的分布式資料倉庫》。

二、騰訊雲的存儲實踐:為你講述演進之路

騰訊雲存儲實踐與SequoiaDB資料庫詳解

來自騰訊基礎架構部的程彬,為大家詳細介紹了騰訊雲的CDB、CBS、CKV的演進之路。随着業務需求不斷變化,隻有不斷地改進現有的技術設計才能适應業務發展、滿足使用者需求。

那什麼是CDB、CBS、CKV呢?我們下面來簡單了解下:

  • CDB:Cloud Database,雲資料庫,SQL的關系資料庫,适用于結構化查詢場景,目前騰訊雲CDB的第三方業務400達餘款,騰訊公司内部業務已達300餘款,目前共有4000多台機器,提供200T存儲空間;
  • CBS:Cloud Block Storage,雲盤,是虛拟塊裝置存儲系統,CBS(雲盤)主要為使用者提供塊層存儲服務;CBS表現形式就是一個 /dev 塊裝置,使用者可以對其做格式化、建立檔案系統,同時CBS的資料存儲在遠端叢集,支援快照、故障轉移;
  • CKV:是極高性能、記憶體級、持久化、分布式的Key-Value存儲服務,适用NoSQL接口的鍵值型高速存儲,以不同空間參數對使用者提供服務。使用CKV,可以很好地支援Master/Slave熱備、切換後執行個體的IP/Port不變,應用層無需修改配置;支援空間自動擴縮,無需業務參與;支援冷熱分離,以降低成本。

詳情,可參閱演講幻燈:

http://code.csdn.net/news/2819912

繼續閱讀