linux高可用叢集資源進階之CFS

第一章    CFS叢集檔案系統簡介

一、CFS叢集檔案系統

        應用環境：個人了解為當多個節點需要同時操作一個檔案系統,更準确的說是通路同一個分區LUN時就需要使用叢集檔案系統，而在實際工作中，通常是san技術和gfs2的結合，也就是san實作的是硬體級别的裝置關聯，而gfs2檔案系統實作軟體級别的資料存儲機制，關鍵是檔案鎖分布在各個節點上，要保證各個節點失效後的通知機制，就必須配合高可用叢集來完成。

叢集檔案系統CFS意義：

當多個主機挂載相同的檔案系統，并且同時進行寫操作的時候，需要一種進階别的鎖機制，是以有了CFS檔案系統。

CFS叢集檔案系統的分類：

GFS2

特點：共享式檔案系統、支援日志、64最小存儲機關、相容POSIX、讀寫緩存、支援線上擴容，支援直接I/O、配額管理、ACL、SELINUX。

OCFS2

分布式檔案系統：

        分布式檔案系統(DFS)把一些分散的（分布在區域網路内各個計算機上）共享檔案夾，集合成一個檔案夾内（虛拟共享檔案夾）利用分布式檔案夾，對于使用者來說，要通路這些共享檔案夾時，隻要打開這個虛拟共享檔案夾，就可以看到所有連結到虛拟共享檔案夾内的共享檔案夾。使用者感覺不到這些個共享檔案是分散于各個計算機上的。分布式檔案系統的好處是：集中通路。簡化操作。提高檔案存取效率。

        通常是将多個存儲節點結合起來共同實作存儲的功能，實作了無限擴容的可能，實作上是将多個節點的存儲空間整合起來，形成一個抽象的虛拟存儲空間，在存儲資料時類似raid5的存儲機制，在工作機制上，也需要一個專門用來管理存儲的稱為“名稱節點”namenode，其他真正存儲資料的稱為datenode，（此名稱來源于HDFS，其他分布式系統類似）。    

DFS分布式檔案系統分類：

NFS:網絡檔案系統，最早，特點是由用戶端定期檢查修改内容，減少伺服器端工作，适用于小網絡。

HDFS:适用于存儲單個大檔案。

mooseFS:

MOGIFEFS:适用于存儲小檔案。最常用

實驗：

cman+rgmanager實作高可用叢集，iscsi搭建共享存儲，叢集檔案系統使用gfs2，gfs2需要同時安裝gfs2-utils，每個節點都需要一個存儲日志的區域，這個存儲區域是在共享存儲上的。

回顧：

nas實際上就是一個檔案伺服器，是應用級别的存儲，san實際上是在scsi協定的一種擴充，是塊級别的存儲，包括fc-san、ip-san，FCOE、IB。

iscsi既可以封裝在軟體層，也可以封裝在硬體層，通常将iscsi協定封裝在硬體層的稱為HBA卡，而将iscsi封裝在核心層，而将tcp/ip分裝在硬體層，這樣的裝置稱為ToE,最簡單常見的就是将iscsi和tcp都封裝在核心層，然後再經硬體封裝成幀格式的是網卡了。

iscsi的實作方式有很多種，包括tgtadm、但通常實作的是共享存儲。

所謂共享存儲就是多個節點共享同一個存儲空間，也就是多個節點通過檔案鎖機制，同時挂載一個相同的存儲分區，這個分區通常是gfs格式的，保證多節點在進行寫操作的時候不會造成檔案系統崩潰，但是多節點共享一個存儲空間勢必造成存儲的一個瓶頸 ，無論是線路的還是儲存設備自身的性能都會造成很大的壓力。

是以擴充性能的方式就有了兩種，一種是“向上擴充”，簡單提升儲存設備或者線路性能，而“向外擴充”，就像我們前面提到了負載均衡，将多個節點捆綁起來共同完成資料的存儲過程，這裡我們就稱為分布式檔案系統。

比如DFS（分布式檔案系統）同樣是“共享式的檔案系統”，差別就是跨越了多個節點的，通過虛拟出一塊磁盤的抽象檔案系統

CFS(叢集檔案系統)，也是共享式檔案系統，常見的就是gfs2，通過mkfs指令進行建立和格式化，也可以建立虛拟卷，來動态增加删除容量，這就需要clvm來完成。

本文轉自 blackstome 51CTO部落格，原文連結：http://blog.51cto.com/137783/1968769，如需轉載請自行聯系原作者