基于Hadoop開發網絡雲盤系統架構設計方案第一稿

引言

　　雲計算技術的發展，各種網絡雲盤技術如雨後春筍，層出不窮，百度、新浪、網易都推出了自己的雲盤系統，本文基于開源架構Hadoop設計實作了一套自己的網絡雲盤系統，方案為初步設計方案，不斷完善中。

一、總體架構

二、方案說明

2.1 系統切分

　　從使用者角度，整個系統劃分為ECDisk用戶端、ECDisk營運管理平台、HDFS分布式檔案存儲叢集和賬戶資料應用平台四部分。

2.2 功能需求

　　檔案管理：浏覽、檔案上傳、檔案下載下傳、檔案删除

　　使用者管理：使用者注冊、使用者登入、使用者登出、賬戶充值、賬戶查詢　　

三、技術選型

　　3.1 HDFS服務接口

　　考慮到用戶端開發環境為VC++2010，HDFS用戶端API采用Hadoop自身提供的Thrift接口。

　　3.2 使用者資料庫

　　使用者資料庫存儲使用者的賬戶資訊，保留在MySQL資料庫中。

　　3.3 記憶體資料庫

　　為提高使用者賬戶資訊通路速度，所有目前線上使用者（已登入）的賬戶資料都緩存到記憶體資料庫中，記憶體資料庫選用基于Erlang實作的Menisa。

四、設計原則

　　4.1 隐藏暴露原則

　　面向ECDisk使用者隻能直接通路使用者資料應用伺服器，HDFS伺服器資源使用者登入後，由使用者資料伺服器傳回給ECDisk用戶端。

　　4.2 授權原則

　　ECDisk終端使用者隻能通路授權使用者設定的空間，超出空間限制不允許通路。

五、界面原型