天天看點

Mycat簡單入門--安裝、部署、配置、應用

Mycat是一個開源的資料庫中間件,是面向企業級應用開發的大資料庫叢集,可以替代mysql的加強版資料庫。

什麼是MYCAT
  • 一個徹底開源的,面向企業應用開發的大資料庫叢集
  • 支援事務、ACID{ 原子性(Atomicity)/一緻性(Consistency)/隔離性(Isolation)/持久性(Durability) }、可以替代MySQL的加強版資料庫
  • 一個可以視為MySQL叢集的企業級資料庫,用來替代昂貴的Oracle叢集
  • 一個融合記憶體緩存技術、NoSQL技術、HDFS大資料的新型SQL Server
  • 一個新穎的資料庫中間件産品

一、安裝JDK

Mycat是由Java開發的,是以需要安裝JDK環境,推薦JDK1.7及以上版本。

Java Oracle官方下載下傳位址

http://www.oracle.com/technetwork/java/javase/archive-139210.html

  • 解壓jdk-7u79-linux-x64.tar.gz檔案
# tar xvf jdk-7u79-linux-x64.tar.gz
# # mv jdk1.7.0_79/ /usr/local/
           
  • 配置Java的環境變量
# vim /etc/profile --編輯/etc/profile檔案,添加如下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source /etc/profile --使/etc/profile檔案生效
           
  • 檢視Java版本
# java -version

java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
           

二、安裝MySQL

MySQL的安裝與部署較簡單,請自行百度,有空我會專門補上一篇。

三、安裝Mycat

Mycat官網:http://www.mycat.io/

可以了解下Mycat的背景和應用情況,這樣使用起來比較有信心。

下載下傳

Mycat下載下傳位址:http://dl.mycat.io/

官網有個文檔,屬于詳細的介紹,初次入門,看起來比較花時間。

Mycat簡單入門--安裝、部署、配置、應用

根據作業系統選擇相應的版本,點選下載下傳。(Mycat-server-1.6.5-release-sources.jar為源碼版)

安裝

Mycat的安裝其實隻要解壓下載下傳的目錄就可以。

安裝完成後,目錄如下:

目錄 說明
bin mycat指令,啟動、重新開機、停止等
catlet catlet為Mycat的一個擴充功能
conf Mycat 配置資訊,重點關注
lib Mycat引用的jar包,Mycat是java開發的
logs 日志檔案,包括Mycat啟動的日志和運作的日志。
部署

Mycat的配置檔案都在conf目錄裡面,這裡介紹幾個常用的檔案:

檔案 說明
server.xml Mycat的配置檔案,設定賬号、參數等
schema.xml Mycat對應的實體資料庫和資料庫表的配置
rule.xml Mycat分片(分庫分表)規則
Mycat的架構其實很好了解,Mycat是代理,Mycat後面就是實體資料庫。和Web伺服器的Nginx類似。對于使用者來說,通路的都是Mycat,不會接觸到後端的資料庫。

我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:

Mycat簡單入門--安裝、部署、配置、應用
伺服器 IP 說明
Mycat 192.168.0.2 mycat伺服器,連接配接資料庫時,連接配接此伺服器
database1 192.168.0.3 實體資料庫1,真正存儲資料的資料庫
database2 192.168.0.4 實體資料庫2,真正存儲資料的資料庫

Mycat作為主資料庫中間件,肯定是與代碼弱關聯的,是以代碼是不用修改的,使用Mycat後,連接配接資料庫是不變的,預設端口是8066。連接配接方式和普通資料庫一樣,如:jdbc:mysql://192.168.0.2:8066/

  • server.xml
<user name="mycat">
        <property name="password">mycat</property>  
        <property name="schemas">mycat</property>  
        <property name="readOnly">false</property>  
        
        <!-- 表級 DML 權限設定 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>
           

重點關注下面這段,其他預設即可。

參數 說明
user 使用者配置節點
–name 登入的使用者名,也就是連接配接Mycat的使用者名
–password 登入的密碼,也就是連接配接Mycat的密碼
–schemas 資料庫名,這裡會和schema.xml中的配置關聯,多個用逗号分開,例如需要這個使用者需要管理兩個資料庫db1,db2,則配置db1,dbs
–privileges 配置使用者針對表的增删改查的權限,具體見文檔吧
  • schema.xml

    schema.xml是最主要的配置項,示例如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
        <table name="users" dataNode="dn1"  />
        <table name="depart" dataNode="dn1"  />
        <table name="slary" dataNode="dn1"  />
        <table name="nation" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />      
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="mycat" />
    <dataNode name="dn2" dataHost="test2" database="mycat" />

<!-- 實體資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>
           
參數 說明
schema 資料庫設定,此資料庫為邏輯資料庫,name與server.xml中schema對應
dataNode 分片資訊,也就是分庫相關配置
dataHost 實體資料庫,真正存儲資料的資料庫

每個節點的屬性逐一說明:

schema:

屬性 說明
name 邏輯資料庫名,與server.xml中的schema對應
checkSQLschema 資料庫字首相關設定,建議看文檔,這裡暫時設為folse
sqlMaxLimit select 時預設的limit,避免查詢全表

table:

屬性 說明
name 表名,實體資料庫中表名
dataNode 表存儲到哪些節點,多個節點用逗号分隔。節點為下文dataNode設定的name
primaryKey 主鍵字段名,自動生成主鍵時需要設定
autoIncrement 是否自增
rule 分片規則名,具體規則下文rule詳細介紹

dataNode:

屬性 說明
name 節點名,與table中dataNode對應
datahost 實體資料庫名,與datahost中name對應
database 實體資料庫中資料庫名

dataHost:

屬性 說明
name 實體資料庫名,與dataNode中dataHost對應
balance 均衡負載的方式
writeType 寫入方式
dbType 資料庫類型
heartbeat 心跳檢測語句,注意語句結尾的分号要加。

四、Mycat的應用場景

1.分表分庫

schema.xml配置如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
        <table name="users" dataNode="dn1"  />
        <table name="depart" dataNode="dn1"  />
        <table name="slary" dataNode="dn1"  />
        <table name="nation" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" /> 
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="mycat" />
    <dataNode name="dn2" dataHost="test2" database="mycat" />

<!-- 實體資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>
           

1.192.168.0.2、192.168.0.3均有資料庫mycat。

2.users、depart、slary、nation都隻寫入節點dn1(192.168.0.2)。

3.dictionary寫入了dn1(192.168.0.2)、dn2(192.168.0.3)兩個節點。

4.分片的規則為:mod-long。

table中的rule屬性對應的就是rule.xml檔案中tableRule的name,具體有哪些分表和分庫的實作,建議還是看下文檔(Mycat支援10種分表分庫的規則)。

這裡選擇的mod-long就是将資料平均拆分。

rule.xml配置如下:

<tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
</tableRule>
    
<!-- 兩台實體庫,是以rule.xml中mod-long對應的function count為2 -->
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">2</property>
</function>
           
2.讀寫分離

schema.xml配置如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="mycat" checkSQLschema="false" sqlMaxLimit="100">
        <table name="users" dataNode="dn1"  />
        <table name="depart" dataNode="dn1"  />
        <table name="slary" dataNode="dn1"  />
        <table name="nation" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="mycat" />


<!-- 實體資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456">   
        </readHost>
        </writeHost>
    </dataHost>
    
</mycat:schema>
           

1.删除了table配置設定的規則。

2.datanode隻有一個。

3.datahost也隻有一個,balance屬性修改為1,表示讀寫分離。

4.datahost下添加了readhost。

注意:Mycat主從分離隻是在讀的時候做了處理,寫入資料的時候,隻會寫入到writehost,需要通過主從複制将資料複制到readhost,但很可惜的是Mycat沒有實作主從複制的功能。

五、Mycat的使用

Mycat的啟動也很簡單,啟動指令在Bin目錄:

##啟動
mycat start

##停止
mycat stop

##重新開機
mycat restart
           

如果在啟動時發現異常,在logs目錄中檢視日志。

  • wrapper.log 為程式啟動的日志,啟動時的問題看這個
  • mycat.log 為腳本執行時的日志,SQL腳本執行報錯後的具體錯誤内容,檢視這個檔案。mycat.log是最新的錯誤日志,曆史日志會根據時間生成目錄儲存。

Mycat帶來的最大好處就是使用是完全不用修改原有代碼的,在mycat通過指令啟動後,你隻需要将資料庫連接配接切換到Mycat的位址就可以了。如下面就可以進行連接配接了:

mysql -h192.168.0.1 -P8806 -uroot -p123456
           

Mycat還有一個管理的連接配接,端口号是9906。

mysql -h192.168.0.1 -P9906 -uroot -p123456
           

連接配接後可以根據管理指令檢視Mycat的運作情況,當然,喜歡UI管理方式的人,可以安裝一個Mycat-Web來進行管理,有興趣自行搜尋。

六、常見問題

使用Mycat後總會遇到一些坑,我将自己遇到的一些問題在這裡列一下,希望能與大家有共鳴:

  • Mycat是不是配置以後,就能完全解決分表分庫和讀寫分離問題?

Mycat配合資料庫本身的複制功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。

分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,Mycat支援兩個表聯表的查詢,多餘兩個表的查詢不支援。 其實,很多資料庫中間件關于分表分庫後查詢的問題,都是需要自己實作的,而且節本都不支援聯表查詢,Mycat已經算做地非常先進了。

分表分庫的後聯表查詢問題,大家通過合理資料庫設計來避免。

  • Mycat支援哪些資料庫,其他平台如 .net、PHP能用嗎?

官方說了,支援的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流資料庫,很贊。

盡量用Mysql,我試過SQL Server,會有些小問題,因為部分文法有點差異。

  • Mycat 非JAVA平台如 .net、PHP能用嗎?

可以用。這一點MyCat做的也很棒。

Mycat安裝、部署、應用内容參考自

https://www.cnblogs.com/joylee/p/7513038.html

繼續閱讀