天天看點

FastDFS安裝、配置、部署(一)

摘要: fastdfs是一個開源的,高性能的的分布式檔案系統,他主要的功能包括:檔案存儲,同步和通路,設計基于高可用和負載均衡,fastdfs非常适用于基于檔案服務的站點,例如圖檔分享和視訊分享網站

聲明:對于分布式的一些技術點在網上都可以查到,這邊對于一些基本的操作做了些相關的總結,并作為分布式架構技術的支援文檔,希望可以幫助到大家

fastdfs是一個開源的,高性能的的分布式檔案系統,他主要的功能包括:檔案存儲,同步和通路,設計基于高可用和負載均衡,fastdfs非常适用于基于檔案服務的站點,例如圖檔分享和視訊分享網站

fastdfs有兩個角色:跟蹤服務(tracker)和存儲服務(storage),跟蹤服務控制,排程檔案以負載均衡的方式通路;存儲服務包括:檔案存儲,檔案同步,提供檔案通路接口,同時以key value的方式管理檔案的中繼資料

跟蹤和存儲服務可以由1台或者多台伺服器組成,同時可以動态的添加,删除跟蹤和存儲服務而不會對線上的服務産生影響,在叢集中,tracker服務是對等的

存 儲系統由一個或多個卷組成,卷與卷之間的檔案是互相獨立的,所有卷的檔案容量累加就是整個存儲系統中的檔案容量。一個卷可以由一台或多台存儲伺服器組成, 一個卷下的存儲伺服器中的檔案都是相同的,卷中的多台存儲伺服器起到了備援備份和負載均衡的作用。在卷中增加伺服器時,同步已有的檔案由系統自動完成,同 步完成後,系統自動将新增伺服器切換到線上提供服務。當存儲空間不足或即将耗盡時,可以動态添加卷。隻需要增加一台或多台伺服器,并将它們配置為一個新的 卷,這樣就擴大了存儲系統的容量。

一、開始安裝:

2. tar xzf fastdfs_v2.11.tar.gz

3. cd fastdfs

如果支援http, vi make.sh,使用/with_httpd查找到這一行,輸入i進入編輯模式,删除掉前面的注釋#,:wq儲存退出,如果需要安裝成服務,則把下面一行也解開。

./make.sh

./make.sh install

4. 準備幾個空閑的端口,可以使用netstat -an | grep 端口号是否被占用。

5. 根據實際情況修改/etc/fdfs下的配置檔案,每個上面都有注釋說明,如果需要http,别忘了解開最下面的#include http.conf,要帶一個#

6. 啟動tracker: /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

7. 啟動storage: /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf,如果出現錯誤,可以到步驟5修改配置檔案時設定的目錄的log目錄下檢視具體錯誤原因。

8. 到此安裝配置完畢

二、操作使用:在fastdfs安裝目錄bin下有以下可執行檔案。

FastDFS安裝、配置、部署(一)

上傳檔案:/usr/local/bin/fdfs_upload_file  <config_file> <local_filename>

下載下傳檔案:/usr/local/bin/fdfs_download_file <config_file> <file_id> [local_filename]

删除檔案:/usr/local/bin/fdfs_delete_file <config_file> <file_id>

monitor: /usr/local/bin/fdfs_monitor /etc/fdfs/client.conf

關閉:

killall fdfs_trackerd

killall fdfs_storaged

/usr/local/bin/stop.sh /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

/usr/local/bin/stop.sh /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

重新開機:

/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

/usr/local/bin/restart.sh /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

三、測試上傳:

./fdfs_test ../conf/client.conf upload qq.png,可以看到檔案上傳成功。

FastDFS安裝、配置、部署(一)

在app/fdfs407/data/data/00/3c目錄下可以找到剛剛上傳的圖檔:

FastDFS安裝、配置、部署(一)

四、fastdfs上傳/下載下傳過程:

首 先用戶端 client 發起對 fastdfs 的檔案傳輸動作,是通過連接配接到某一台 tracker server 的指定端口來實作的,tracker server 根據目前已掌握的資訊,來決定選擇哪一台 storage server ,然後将這個storage server 的位址等資訊傳回給 client,然後 client 再通過這些資訊連接配接到這台 storage server,将要上傳的檔案傳送到給 storage server上。

FastDFS安裝、配置、部署(一)

上傳過程:

FastDFS安裝、配置、部署(一)

下載下傳過程:

FastDFS安裝、配置、部署(一)

在我的項目中,一般啟動2個tracker和2個storage就可以了,如下所示:

./fdfs_trackerd ../conf/tracker-1.conf

./fdfs_trackerd ../conf/tracker-2.conf

./fdfs_storaged ../conf/storage-g1-1.conf

./fdfs_storaged ../conf/storage-g2-1.conf

聲明:所有部落格服務于分布式架構,作為架構的技術支援及說明,架構面向企業,是大型網際網路分布式企業架構,後期會介紹linux上部署高可用叢集項目。

繼續閱讀