天天看點

Mysql分庫分表方案

http://my.oschina.net/ydsakyclguozi/blog/199498?fromerr=fyebfbtt

1.為什麼要分表:

當一張表的資料達到幾千萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,我想有可能會死在那兒了。分表的目的就在于此,減小資料庫的負擔,縮短查詢時間。

mysql中有一種機制是表鎖定和行鎖定,是為了保證資料的完整性。表鎖定表示你們都不能對這張表進行操作,必須等我對表操作完才行。行鎖定也一樣,别的sql必須等我對這條資料操作完了,才能對這條資料進行操作。

2. mysql proxy:amoeba

做mysql叢集,利用amoeba。

從上層的java程式來講,不需要知道主伺服器和從伺服器的來源,即主從資料庫伺服器對于上層來講是透明的。可以通過amoeba來配置。

 3.大資料量并且通路頻繁的表,将其分為若幹個表

比如對于某網站平台的資料庫表-公司表,資料量很大,這種能預估出來的大資料量表,我們就事先分出個n個表,這個n是多少,根據實際情況而定。

     某網站現在的資料量至多是5000萬條,可以設計每張表容納的資料量是500萬條,也就是拆分成10張表,

那麼如何判斷某張表的資料是否容量已滿呢?可以在程式段對于要新增資料的表,在插入前先做統計表記錄數量的操作,當<500萬條資料,就直接插入,當已經到達閥值,可以在程式段新建立資料庫表(或者已經事先建立好),再執行插入操作。

 4. 利用merge存儲引擎來實作分表

如果要把已有的大資料量表分開比較痛苦,最痛苦的事就是改代碼,因為程式裡面的sql語句已經寫好了。用merge存儲引擎來實作分表, 這種方法比較适合.

舉例子:

Mysql分庫分表方案

 ------------------- ----------華麗的分割線--------------------------------------

 資料庫架構

1、簡單的mysql主從複制:

mysql的主從複制解決了資料庫的讀寫分離,并很好的提升了讀的性能,其圖如下:

Mysql分庫分表方案

其主從複制的過程如下圖所示:

Mysql分庫分表方案

但是,主從複制也帶來其他一系列性能瓶頸問題:

1. 寫入無法擴充

2. 寫入無法緩存

3. 複制延時

4. 鎖表率上升

5. 表變大,緩存率下降

那問題産生總得解決的,這就産生下面的優化方案,一起來看看。

2、mysql垂直分區

   如果把業務切割得足夠獨立,那把不同業務的資料放到不同的資料庫伺服器将是一個不錯的方案,而且萬一其中一個業務崩潰了也不會影響其他業務的正常進行,并且也起到了負載分流的作用,大大提升了資料庫的吞吐能力。經過垂直分區後的資料庫架構圖如下:

Mysql分庫分表方案

然而,盡管業務之間已經足夠獨立了,但是有些業務之間或多或少總會有點聯系,如使用者,基本上都會和每個業務相關聯,況且這種分區方式,也不能解決單張表資料量暴漲的問題,是以為何不試試水準分割呢?

3、mysql水準分片(sharding)

這是一個非常好的思路,将使用者按一定規則(按id哈希)分組,并把該組使用者的資料存儲到一個資料庫分片中,即一個sharding,這樣随着使用者數量的增加,隻要簡單地配置一台伺服器即可,原理圖如下:

Mysql分庫分表方案

如何來确定某個使用者所在的shard呢,可以建一張使用者和shard對應的資料表,每次請求先從這張表找使用者的shard id,再從對應shard中查詢相關資料,如下圖所示:

Mysql分庫分表方案