天天看點

Fourinone2.0對分布式檔案的簡化操作

Fourinone2.0裡通過FttpAdapter和FileAdapter實作檔案io的支援。其中,FttpAdapter提供對遠端檔案的操作,FileAdapter提供對本地檔案的操作,兩者api和使用相似,這裡主要說明FttpAdapter:

FttpAdapter提供了對分布式檔案的便利操作, 将叢集中所有機器的硬碟資源利用起來,通過統一的fttp檔案路徑通路,并且windows和linux都能支援:

作業系統上的任何目錄檔案都可以通過添加fttp協定頭和ip去通路:

[color=red]fttp://IP或域名/window或linux原有目錄檔案名[/color]

比如通路windows系統的d:/data/a.log檔案:

windows:fttp://192.168.0.1/d:/data/a.log

比如通路linux系統的/home/user/a.log檔案:

linux:fttp:// 192.168.0.1/home/user/a.log

擷取遠端檔案内容變的更簡單,比如以這樣的方式讀取遠端檔案:

FttpAdapter fa = FttpAdapter("fttp://192.168.0.1/home/log/a.log");

fa.getFttpReader().readAll();

這裡讀取了192.168.0.1這台linux伺服器上的/home/log/a.log檔案的所有内容

提供對叢集檔案的操作支援,包括:

1、中繼資料通路,添加删除,按塊拆分, 高性能并行讀寫,排他讀寫(按檔案部分内容鎖定),随機讀寫,叢集複制等

2、對叢集檔案的解析支援(包括按行,按分割符,按最後辨別讀取)

3、對整形資料的高性能讀寫支援(ArrayInt比ArrayList存的更多更快)

4、兩階段送出和事務補償處理

5、自帶一個叢集檔案浏覽器,可以檢視叢集所有硬碟上的檔案(不同于hadoop的namenode,沒有單點問題和容量限制)

總的來說, 将叢集看做一個作業系統,像操作本地檔案一樣操作遠端檔案。

但是fourinone并不提供一個完整的分布式存儲系統,比如檔案資料的導入導出、拆分存儲、負載均衡,備份容災等存儲功能, fourinone隻是讓完成這項工作變的簡單,讓開發人員可以利用這些api友善的設計和實作這些功能,用來滿足自己的特定需求。

更多介紹請看使用指南:

一、[url="http://fourinone.iteye.com/blog/1543907"]如何搭建配置FttpAdapter環境[/url]

二、[url="http://fourinone.iteye.com/blog/1543920"]如何通路叢集檔案根目錄[/url]

三、[url="http://fourinone.iteye.com/blog/1543925"]如何通路和操作遠端檔案[/url]

四、[url="http://fourinone.iteye.com/blog/1543936"]如何進行叢集内檔案複制和并行複制[/url]

五、[url="http://fourinone.iteye.com/blog/1543944"]如何讀寫遠端檔案[/url]

六、[url="http://fourinone.iteye.com/blog/1543949"]如何解析遠端檔案[/url]

七、[url="http://fourinone.iteye.com/blog/1544799"]如何并行讀寫遠端檔案[/url]

八、[url="http://fourinone.iteye.com/blog/1544810"]如何批量并行讀寫遠端檔案和事務補償處理[/url]

郵箱:[email protected]

企鵝群:241116021

demo源碼指南及開發包下載下傳位址:

http://www.skycn.com/soft/68321.html

繼續閱讀