mysql 分表

分表是個目前算是比較炒的比較流行的概念，特别是在大負載的情況下，分表是一個良好分散資料庫壓力的好方法。

首先要了解為什麼要分表，分表的好處是什麼。我們先來大概了解以下一個資料庫執行sql的過程：

接收到sql --> 放入sql執行隊列 --> 使用分析器分解sql --> 按照分析結果進行資料的提取或者修改 --> 傳回處理結果

當然，這個流程圖不一定正确，這隻是我自己主觀意識上這麼我認為。那麼這個處理過程當中，最容易出現問題的是什麼？就是說，如果前一個sql沒有執行完畢的話，後面的sql是不會執行的，因為為了保證資料的完整性，必須對資料表檔案進行鎖定，包括共享鎖和獨享鎖兩種鎖定。共享鎖是在鎖定的期間，其它線程也可以通路這個資料檔案，但是不允許修改操作，相應的，獨享鎖就是整個檔案就是歸一個線程所有，其它線程無法通路這個資料檔案。一般mysql中最快的存儲引擎myisam，它是基于表鎖定的，就是說如果一鎖定的話，那麼整個資料檔案外部都無法通路，必須等前一個操作完成後，才能接收下一個操作，那麼在這個前一個操作沒有執行完成，後一個操作等待在隊列裡無法執行的情況叫做阻塞，一般我們通俗意義上叫做“鎖表”。

鎖表直接導緻的後果是什麼？就是大量的sql無法立即執行，必須等隊列前面的sql全部執行完畢才能繼續執行。這個無法執行的sql就會導緻沒有結果，或者延遲嚴重，影響使用者體驗。

特别是對于一些使用比較頻繁的表，比如sns系統中的使用者資訊表、論壇系統中的文章表等等，都是通路量大很大的表，為了保證資料的快速提取傳回給使用者，必須使用一些處理方式來解決這個問題，這個就是我今天要聊到的分表技術。

分表技術顧名思義，就是把若幹個存儲相同類型資料的表分成幾個表分表存儲，在提取資料的時候，不同的使用者通路不同的表，互不沖突，減少鎖表的幾率。比如，目前儲存使用者分表有兩個表，一個是user_1表，還有一個是 user_2 表，兩個表儲存了不同的使用者資訊，user_1 儲存了前10萬的使用者資訊，user_2儲存了後10萬名使用者的資訊，現在如果同時查詢使用者 heiyeluren1 和 heiyeluren2 這個兩個使用者，那麼就是分表從不同的表提取出來，減少鎖表的可能。

我下面要講述的兩種分表方法我自己都沒有實驗過，不保證準确能用，隻是提供一個設計思路。下面關于分表的例子我假設是在一個貼吧系統的基礎上來進行處理和建構的。（如果沒有用過貼吧的使用者趕緊google一下）

二、基于基礎表的分表處理

這個基于基礎表的分表處理方式大緻的思想就是：一個主要表，儲存了所有的基本資訊，如果某個項目需要找到它所存儲的表，那麼必須從這個基礎表中查找出對應的表名等項目，好直接通路這個表。如果覺得這個基礎表速度不夠快，可以完全把整個基礎表儲存在緩存或者記憶體中，友善有效的查詢。

我們基于貼吧的情況，建構假設如下的3張表：

1. 貼吧版塊表: 儲存貼吧中版塊的資訊

2. 貼吧主題表：儲存貼吧中版塊中的主題資訊，用于浏覽

3. 貼吧回複表：儲存主題的原始内容和回複内容

“貼吧版塊表”包含如下字段：

版塊id          board_id             int(10)

版塊名稱       board_name         char(50)

子表id          table_id               smallint(5)

産生時間       created                datetime

“貼吧主題表”包含如下字段：

主題id             topic_id           int(10)

主題名稱           topic_name        char(255)

版塊id             board_id             int(10)

建立時間          created              datetime

“貼吧回複表”的字段如下：

回複id           reply_id              int(10)

回複内容         reply_text           text

主題id           topic_id              int(10)

版塊id           board_id            int(10)

建立時間         created               datetime

那麼上面儲存了我們整個貼吧中的表結構資訊，三個表對應的關系是：

版塊 --> 多個主題

主題 --> 多個回複

那麼就是說，表檔案大小的關系是：

版塊表檔案 < 主題表檔案 < 回複表檔案

是以基本可以确定需要對主題表和回複表進行分表，已增加我們資料檢索查詢更改時候的速度和性能。

看了上面的表結構，會明顯發現，在“版塊表”中儲存了一個"table_id"字段，這個字段就是用于儲存一個版塊對應的主題和回複都是分表儲存在什麼表裡的。

比如我們有一個叫做“php”的貼吧，board_id是1，子表id也是1，那麼這條記錄就是：

board_id | board_name | table_id | created

1 | php | 1 | 2007-01-19 00:30:12

相應的，如果我需要提取“php”吧裡的所有主題，那麼就必須按照表裡儲存的table_id來組合一個存儲了主題的表名稱，比如我們主題表的字首是“topic_”，那麼組合出來“php”吧對應的主題表應該是：“topic_1”，那麼我們執行：

select * from topic_1 where board_id = 1 order by topic_id desc limit 10

這樣就能夠擷取這個主題下面回複清單，友善我們進行檢視，如果需要檢視某個主題下面的回複，我們可以繼續使用版塊表中儲存的“table_id”來進行查詢。比如我們回複表的字首是“reply_”，那麼就可以組合出“php”吧的id為1的主題的回複：

select * from reply_1 where topic_id = 1 order by reply_id desc limit 10

這裡，我們能夠清晰的看到，其實我們這裡使用了基礎表，基礎表就是我們的版塊表。那麼相應的，肯定會說：基礎表的資料量大了以後如何保證它的速度和效率？

當然，我們就必須使得這個基礎表保持最好的速度和性能，比如，可以采用mysql的記憶體表來存儲，或者儲存在記憶體當中，比如memcache之類的記憶體緩存等等，可以按照實際情況來進行調整。

一般基于基礎表的分表機制在sns、交友、論壇等web2.0網站中是個比較不錯的解決方案，在這些網站中，完全可以單獨使用一個表來來儲存基本辨別和目标表之間的關系。使用表儲存對應關系的好處是以後擴充非常友善，隻需要增加一個表記錄。

【優勢】增加删除節點非常友善，為後期更新維護帶來很大便利

【劣勢】需要增加表或者對某一個表進行操作，還是無法離開資料庫，會産生瓶頸

三、基于hash算法的分表處理

我們知道hash表就是通過某個特殊的hash算法計算出的一個值，這個值必須是惟一的，并且能夠使用這個計算出來的值查找到需要的值，這個叫做哈希表。

我們在分表裡的hash算法跟這個思想類似：通過一個原始目标的id或者名稱通過一定的hash算法計算出資料存儲表的表名，然後通路相應的表。

繼續拿上面的貼吧來說，每個貼吧有版塊名稱和版塊id，那麼這兩項值是固定的，并且是惟一的，那麼我們就可以考慮通過對這兩項值中的一項進行一些運算得出一個目标表的名稱。

現在假如我們針對我們這個貼吧系統，假設系統最大允許1億條資料，考慮每個表儲存100萬條記錄，那麼整個系統就不超過100個表就能夠容納。按照這個标準，我們假設在貼吧的版塊id上進行hash，獲得一個key值，這個值就是我們的表名，然後通路相應的表。

我們構造一個簡單的hash算法：

function get_hash($id){

       $str = bin2hex($id);

       $hash = substr($str, 0, 4);

       if (strlen($hash)<4){

           $hash = str_pad($hash, 4, "0");

       }

       return $hash;

}

算法大緻就是傳入一個版塊id值，然後函數傳回一個4位的字元串，如果字元串長度不夠，使用0進行補全。

比如：get_hash(1)，輸出的結果是“3100”，輸入：get_hash(23819)，得到的結果是：3233，那麼我們經過簡單的跟表字首組合，就能夠通路這個表了。那麼我們需要通路id為1的内容時候哦，組合的表将是：topic_3100、reply_3100，那麼就可以直接對目标表進行通路了。

當然，使用hash算法後，有部分資料是可能在同一個表的，這一點跟hash表不同，hash表是盡量解決沖突，我們這裡不需要，當然同樣需要預測和分析表資料可能儲存的表名。

如果需要存儲的資料更多，同樣的，可以對版塊的名字進行hash操作，比如也是上面的二進制轉換成十六進制，因為漢字比數字和字母要多很多，那麼重複幾率更小，但是可能組合成的表就更多了，相應就必須考慮一些其它的問題。

歸根結底，使用hash方式的話必須選擇一個好的hash算法，才能生成更多的表，然資料查詢的更迅速。

【優點hash算法直接得出目标表名稱，效率很高】通過

【劣勢】擴充性比較差，選擇了一個hash算法，定義了多少資料量，以後隻能在這個資料量上跑，不能超過過這個資料量，可擴充性稍差

四、其它問題

1. 搜尋問題

現在我們已經進行分表了，那麼就無法直接對表進行搜尋，因為你無法對可能系統中已經存在的幾十或者幾百個表進行檢索，是以搜尋必須借助第三方的元件來進行，比如lucene作為站内搜尋引擎是個不錯的選擇。

2. 表檔案問題

我們知道mysql的myisam引擎每個表都會生成三個檔案，*.frm、*.myd、*.myi 三個檔案，分表用來儲存表結構、表資料和表索引。linux下面每個目錄下的檔案數量最好不要超過1000個，不然檢索資料将更慢，那麼每個表都會生成三個檔案，相應的如果分表超過300個表，那麼将檢索非常慢，是以這時候就必須再進行分，比如在進行資料庫的分離。

使用基礎表，我們可以新增加一個字段，用來儲存這個表儲存在什麼資料。使用hash的方式，我們必須截取hash值中第幾位來作為資料庫的名字。這樣，完好的解決這個問題。

五、總結

在大負載應用當中，資料庫一直是個很重要的瓶頸，必須要突破，本文講解了兩種分表的方式，希望對很多人能夠有啟發的作用。當然，本文代碼和設想沒有經過任何代碼測試，是以無法保證設計的完全準确實用，具體還是需要讀者在使用過程當中認真分析實施。