Mycat是一個開源的資料庫中間件,是面向企業級應用開發的大資料庫叢集,可以替代mysql的加強版資料庫。
什麼是MYCAT
- 一個徹底開源的,面向企業應用開發的大資料庫叢集
- 支援事務、ACID{ 原子性(Atomicity)/一緻性(Consistency)/隔離性(Isolation)/持久性(Durability) }、可以替代MySQL的加強版資料庫
- 一個可以視為MySQL叢集的企業級資料庫,用來替代昂貴的Oracle叢集
- 一個融合記憶體緩存技術、NoSQL技術、HDFS大資料的新型SQL Server
- 一個新穎的資料庫中間件産品
一、安裝JDK
Mycat是由Java開發的,是以需要安裝JDK環境,推薦JDK1.7及以上版本。
Java Oracle官方下載下傳位址
http://www.oracle.com/technetwork/java/javase/archive-139210.html
- 解壓jdk-7u79-linux-x64.tar.gz檔案
# tar xvf jdk-7u79-linux-x64.tar.gz
# # mv jdk1.7.0_79/ /usr/local/
- 配置Java的環境變量
# vim /etc/profile --編輯/etc/profile檔案,添加如下内容
export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# source /etc/profile --使/etc/profile檔案生效
- 檢視Java版本
# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
二、安裝MySQL
MySQL的安裝與部署較簡單,請自行百度,有空我會專門補上一篇。
三、安裝Mycat
Mycat官網:http://www.mycat.io/
可以了解下Mycat的背景和應用情況,這樣使用起來比較有信心。
下載下傳
Mycat下載下傳位址:http://dl.mycat.io/
官網有個文檔,屬于詳細的介紹,初次入門,看起來比較花時間。
根據作業系統選擇相應的版本,點選下載下傳。(Mycat-server-1.6.5-release-sources.jar為源碼版)
安裝
Mycat的安裝其實隻要解壓下載下傳的目錄就可以。
安裝完成後,目錄如下:
目錄 | 說明 |
---|---|
bin | mycat指令,啟動、重新開機、停止等 |
catlet | catlet為Mycat的一個擴充功能 |
conf | Mycat 配置資訊,重點關注 |
lib | Mycat引用的jar包,Mycat是java開發的 |
logs | 日志檔案,包括Mycat啟動的日志和運作的日志。 |
部署
Mycat的配置檔案都在conf目錄裡面,這裡介紹幾個常用的檔案:
檔案 | 說明 |
---|---|
server.xml | Mycat的配置檔案,設定賬号、參數等 |
schema.xml | Mycat對應的實體資料庫和資料庫表的配置 |
rule.xml | Mycat分片(分庫分表)規則 |
Mycat的架構其實很好了解,Mycat是代理,Mycat後面就是實體資料庫。和Web伺服器的Nginx類似。對于使用者來說,通路的都是Mycat,不會接觸到後端的資料庫。
我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:
伺服器 | IP | 說明 |
---|---|---|
Mycat | 192.168.0.2 | mycat伺服器,連接配接資料庫時,連接配接此伺服器 |
database1 | 192.168.0.3 | 實體資料庫1,真正存儲資料的資料庫 |
database2 | 192.168.0.4 | 實體資料庫2,真正存儲資料的資料庫 |
Mycat作為主資料庫中間件,肯定是與代碼弱關聯的,是以代碼是不用修改的,使用Mycat後,連接配接資料庫是不變的,預設端口是8066。連接配接方式和普通資料庫一樣,如:jdbc:mysql://192.168.0.2:8066/
- server.xml
<user name="mycat">
<property name="password">mycat</property>
<property name="schemas">mycat</property>
<property name="readOnly">false</property>
<!-- 表級 DML 權限設定 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
重點關注下面這段,其他預設即可。
參數 | 說明 |
---|---|
user | 使用者配置節點 |
–name | 登入的使用者名,也就是連接配接Mycat的使用者名 |
–password | 登入的密碼,也就是連接配接Mycat的密碼 |
–schemas | 資料庫名,這裡會和schema.xml中的配置關聯,多個用逗号分開,例如需要這個使用者需要管理兩個資料庫db1,db2,則配置db1,dbs |
–privileges | 配置使用者針對表的增删改查的權限,具體見文檔吧 |
-
schema.xml
schema.xml是最主要的配置項,示例如下:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
<table name="users" dataNode="dn1" />
<table name="depart" dataNode="dn1" />
<table name="slary" dataNode="dn1" />
<table name="nation" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="mycat" />
<dataNode name="dn2" dataHost="test2" database="mycat" />
<!-- 實體資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">
</writeHost>
</dataHost>
</mycat:schema>
參數 | 說明 |
---|---|
schema | 資料庫設定,此資料庫為邏輯資料庫,name與server.xml中schema對應 |
dataNode | 分片資訊,也就是分庫相關配置 |
dataHost | 實體資料庫,真正存儲資料的資料庫 |
每個節點的屬性逐一說明:
schema:
屬性 | 說明 |
---|---|
name | 邏輯資料庫名,與server.xml中的schema對應 |
checkSQLschema | 資料庫字首相關設定,建議看文檔,這裡暫時設為folse |
sqlMaxLimit | select 時預設的limit,避免查詢全表 |
table:
屬性 | 說明 |
---|---|
name | 表名,實體資料庫中表名 |
dataNode | 表存儲到哪些節點,多個節點用逗号分隔。節點為下文dataNode設定的name |
primaryKey | 主鍵字段名,自動生成主鍵時需要設定 |
autoIncrement | 是否自增 |
rule | 分片規則名,具體規則下文rule詳細介紹 |
dataNode:
屬性 | 說明 |
---|---|
name | 節點名,與table中dataNode對應 |
datahost | 實體資料庫名,與datahost中name對應 |
database | 實體資料庫中資料庫名 |
dataHost:
屬性 | 說明 |
---|---|
name | 實體資料庫名,與dataNode中dataHost對應 |
balance | 均衡負載的方式 |
writeType | 寫入方式 |
dbType | 資料庫類型 |
heartbeat | 心跳檢測語句,注意語句結尾的分号要加。 |
四、Mycat的應用場景
1.分表分庫
schema.xml配置如下:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
<table name="users" dataNode="dn1" />
<table name="depart" dataNode="dn1" />
<table name="slary" dataNode="dn1" />
<table name="nation" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="mycat" />
<dataNode name="dn2" dataHost="test2" database="mycat" />
<!-- 實體資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">
</writeHost>
</dataHost>
</mycat:schema>
1.192.168.0.2、192.168.0.3均有資料庫mycat。
2.users、depart、slary、nation都隻寫入節點dn1(192.168.0.2)。
3.dictionary寫入了dn1(192.168.0.2)、dn2(192.168.0.3)兩個節點。
4.分片的規則為:mod-long。
table中的rule屬性對應的就是rule.xml檔案中tableRule的name,具體有哪些分表和分庫的實作,建議還是看下文檔(Mycat支援10種分表分庫的規則)。
這裡選擇的mod-long就是将資料平均拆分。
rule.xml配置如下:
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<!-- 兩台實體庫,是以rule.xml中mod-long對應的function count為2 -->
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">2</property>
</function>
2.讀寫分離
schema.xml配置如下:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
<table name="users" dataNode="dn1" />
<table name="depart" dataNode="dn1" />
<table name="slary" dataNode="dn1" />
<table name="nation" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="mycat" />
<!-- 實體資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
<readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456">
</readHost>
</writeHost>
</dataHost>
</mycat:schema>
1.删除了table配置設定的規則。
2.datanode隻有一個。
3.datahost也隻有一個,balance屬性修改為1,表示讀寫分離。
4.datahost下添加了readhost。
注意:Mycat主從分離隻是在讀的時候做了處理,寫入資料的時候,隻會寫入到writehost,需要通過主從複制将資料複制到readhost,但很可惜的是Mycat沒有實作主從複制的功能。
五、Mycat的使用
Mycat的啟動也很簡單,啟動指令在Bin目錄:
##啟動
mycat start
##停止
mycat stop
##重新開機
mycat restart
如果在啟動時發現異常,在logs目錄中檢視日志。
- wrapper.log 為程式啟動的日志,啟動時的問題看這個
- mycat.log 為腳本執行時的日志,SQL腳本執行報錯後的具體錯誤内容,檢視這個檔案。mycat.log是最新的錯誤日志,曆史日志會根據時間生成目錄儲存。
Mycat帶來的最大好處就是使用是完全不用修改原有代碼的,在mycat通過指令啟動後,你隻需要将資料庫連接配接切換到Mycat的位址就可以了。如下面就可以進行連接配接了:
mysql -h192.168.0.1 -P8806 -uroot -p123456
Mycat還有一個管理的連接配接,端口号是9906。
mysql -h192.168.0.1 -P9906 -uroot -p123456
連接配接後可以根據管理指令檢視Mycat的運作情況,當然,喜歡UI管理方式的人,可以安裝一個Mycat-Web來進行管理,有興趣自行搜尋。
六、常見問題
使用Mycat後總會遇到一些坑,我将自己遇到的一些問題在這裡列一下,希望能與大家有共鳴:
- Mycat是不是配置以後,就能完全解決分表分庫和讀寫分離問題?
Mycat配合資料庫本身的複制功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。
分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,Mycat支援兩個表聯表的查詢,多餘兩個表的查詢不支援。 其實,很多資料庫中間件關于分表分庫後查詢的問題,都是需要自己實作的,而且節本都不支援聯表查詢,Mycat已經算做地非常先進了。
分表分庫的後聯表查詢問題,大家通過合理資料庫設計來避免。
- Mycat支援哪些資料庫,其他平台如 .net、PHP能用嗎?
官方說了,支援的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流資料庫,很贊。
盡量用Mysql,我試過SQL Server,會有些小問題,因為部分文法有點差異。
- Mycat 非JAVA平台如 .net、PHP能用嗎?
可以用。這一點MyCat做的也很棒。
Mycat安裝、部署、應用内容參考自
https://www.cnblogs.com/joylee/p/7513038.html