分表是分散資料庫壓力的好方法。
分表,最直白的意思,就是将一個表結構分為多個表,然後,可以再同一個庫裡,也可以放到不同的庫。
當然,首先要知道什麼情況下,才需要分表。個人覺得單表記錄條數達到百萬到千萬級别時就要使用分表了。
分表的分類:
1.縱向分表
将本來可以在同一個表的内容,人為劃分為多個表。(所謂的本來,是指按照關系型資料庫的第三範式要求,是應該在同一個表的。)
分表理由:根據資料的活躍度進行分離,(因為不同活躍的資料,處理方式是不同的)
案例:
對于一個部落格系統,文章标題,作者,分類,建立時間等,是變化頻率慢,查詢次數多,而且最好有很好的實時性的資料,我們把它叫做冷資料。而部落格的浏覽量,回複數等,類似的統計資訊,或者别的變化頻率比較高的資料,我們把它叫做活躍資料。是以,在進行資料庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。
這樣縱向分表後:
首先存儲引擎的使用不同,冷資料使用MyIsam 可以有更好的查詢資料。活躍資料,可以使用Innodb ,可以有更好的更新速度。
其次,對冷資料進行更多的從庫配置,因為更多的操作時查詢,這樣來加快查詢速度。對熱資料,可以相對有更多的主庫的橫向分表處理。
其實,對于一些特殊的活躍資料,也可以考慮使用memcache ,redis之類的緩存,等累計到一定量再去更新資料庫。或者mongodb 一類的nosql 資料庫,這裡隻是舉例,就先不說這個。
1.橫向分表
字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,使用者資訊表,user_1,user_2 等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據使用者ID來取模劃分。
分表理由:根據資料量的規模來劃分,保證單表的容量不會太大,進而來保證單表的查詢等處理能力。
案例:同上面的例子,部落格系統。當部落格的量達到很大時候,就應該采取橫向分割來降低每個單表的壓力,來提升性能。例如部落格的冷資料表,假如分為100個表,當同時有100萬個使用者在浏覽時,如果是單表的話,會進行100萬次請求,而現在分表後,就可能是每個表進行1萬個資料的請求(因為,不可能絕對的平均,隻是假設),這樣壓力就降低了很多很多。
資料庫的複制能解決通路問題,并不能解決大規模的并發寫入問題,要解決這個問題就要考慮mysql資料切分了
資料切分,顧名思義,就是資料分散,将一台主機上的資料分攤到多台,減輕單台主機的負載壓力,有兩種切分方式,一種是分庫,即按照業務子產品分多個庫,每個庫中的表不一樣,還有一種就是分表,按照一定的業務規則或者邏輯将資料拆分到不同的主機上,每個主機上的表是一樣的,這個有點類似于Oracle的表分區。
分庫又叫垂直分區,這種方式實作起來比較簡單,重要的是對業務要細化,分庫時候要想清楚各個子產品業務之間的互動情況,避免将來寫程式時出現過多的跨庫操作。
分表又叫水準分區,這種方式實作起來就比垂直分區複雜些,但是它能解決垂直分區所不能解決的問題,即單張表的通路及寫入很頻繁,這時候就可以根據一定的業務規則(PS:如網際網路BBS論壇的會員等級概念:根據會員等級來分表)來分表,這樣就能減輕單表壓力,并且還能解決各個子產品的之間的頻繁互動問題。
分庫的優點是:實作簡單,庫與庫之間界限分明,便于維護,缺點是不利于頻繁跨庫操作,單表資料量大的問題解決不了。
分表的優點是:能解決分庫的不足點,但是缺點卻恰恰是分庫的優點,分表實作起來比較複雜,特别是分表規則的劃分,程式的編寫,以及後期的資料庫拆分移植維護。
實際應用中,一般網際網路企業的路線都是先分庫再分表,兩者結合使用,取長補短,這樣發揮了mysql擴充的最大優勢,但是缺點是架構很大,很複雜,應用程式的編寫也比較複雜。
以上是mysql的資料切分的一些概念,資料切完了,現在要做的是怎麼樣在整合起來以便于外界通路,因為程式通路的入口永遠隻有一個,現在比較常用的解決方案是通過中間代理層來統一管控所有資料源。