【Mycat】Mycat核心開發者帶你看盡Mycat三大核心配置檔案！！

server.xml

server.xml幾乎儲存了所有mycat需要的系統配置資訊。其在代碼内直接的映射類為SystemConfig類。現在就對這個檔案中的配置進行相關的介紹

user标簽

<user name="test">
 <property name="password">test</property>
 <property name="schemas">TESTDB</property>
 <property name="readOnly">true</property>
</user>      

server.xml中的标簽本就不多，這個标簽主要用于定義登入mycat的使用者和權限。例如上面的例子中，我定義了一個使用者，使用者名為test、密碼也為test，可通路的schema也隻有TESTDB一個。如果我在schema.xml中定義了多個schema，那麼這個使用者是無法通路其他的schema。在mysql用戶端看來則是無法使用use切換到這個其他的資料庫。如果使用了use指令，則mycat會報出這樣的錯誤提示：ERROR 1044 (HY000): Access denied for user 'test' to database  'xxx'這個标簽嵌套的property标簽則是具體聲明的屬性值，正如上面的例子。我們可以修改user标簽的name屬性來指定使用者名；修改password内的文本來修改密碼；修改readOnly為true  或false來限制使用者是否隻是可讀的；修改schemas内的文本來控制使用者可放問的schema；修改schemas内的文本來控制使用者可通路的schema，同時通路多個schema的話使用 , 隔開，例如:

<property name="schemas">TESTDB,db1,db2</property>      

system标簽

這個标簽内嵌套的所有property标簽都與系統配置有關，請注意，下面我會省去标簽property直接使用這個标簽的name屬性内的值來介紹這個屬性的作用。

defaultSqlParser屬性

由于mycat最初是時候Foundation  DB的sql解析器，而後才添加的Druid的解析器。是以這個屬性用來指定預設的解析器。目前的可用的取值有：druidparser和  fdbparser。使用的時候可以選擇其中的一種，目前一般都使用druidparser。

processors屬性

這個屬性主要用于指定系統可用的線程數，預設值為Runtime.getRuntime().availableProcessors()方法傳回的值。主要影響processorBufferPool、processorBufferLocalPercent、processorExecutor屬性。NIOProcessor的個數也是由這個屬性定義的，是以調優的時候可以适當的調高這個屬性。

processorBufferChunk屬性

這個屬性指定每次配置設定Socket Direct Buffer的大小，預設是4096個位元組。這個屬性也影響buffer pool的長度。

processorBufferPool屬性

這個屬性指定bufferPool計算 比例值。由于每次執行NIO讀、寫操作都需要使用到buffer，系統初始化的時候會建立一定長度的buffer池來加快讀、寫的效率，減少建立buffer的時間。

兩個主要的buffer池

BufferPool和ThreadLocalPool

BufferPool由ThreadLocalPool組合而成，每次從BufferPool中擷取buffer都會優先擷取ThreadLocalPool中的buffer，未命中之後才會去擷取BufferPool中的buffer。也就是說ThreadLocalPool是作為BufferPool的二級緩存，每個線程内部自己使用的。當然，這其中還有一些限制條件需要線程的名字是由$_開頭。然而，BufferPool上的buffer則是每個NIOProcessor都共享的。預設這個屬性的值為：

預設bufferChunkSize(4096) * processors屬性 * 1000 BufferPool的總長度 =  bufferPool / bufferChunk。      

若bufferPool不是bufferChunk的整數倍，則總長度為前面計算得出的商 + 1 假設系統線程數為4，其他都為屬性的預設值，則：

bufferPool ＝ 4096 * 4 * 1000
 BufferPool的總長度 : 4000 = 16384000 / 4096      

processorBufferLocalPercent屬性

前面提到了ThreadLocalPool。這個屬性就是用來控制配置設定這個pool的大小用的，但其也并不是一個準确的值，也是一個比例值。這個屬性預設值為100。

線程緩存百分比 = bufferLocalPercent / processors屬性。      

例如，系統可以同時運作4個線程，使用預設值，則根據公式每個線程的百分比為25。最後根據這個百分比來計算出具體的。

ThreadLocalPool的長度公式如下：

ThreadLocalPool的長度 = 線程緩存百分比 * BufferPool長度 / 100      

假設BufferPool的長度為 4000，其他保持預設值。那麼最後每個線程建立上的ThreadLocalPool的長度為：1000 = 25 * 4000 / 100

processorExecutor屬性

這個屬性主要用于指定NIOProcessor上共享的businessExecutor固定線程池大小。mycat在需要處理一些異步邏輯的時候會把任務送出到這個線程池中。新版本中這個連接配接池的使用頻率不是很大了，可以設定一個較小的值。

sequnceHandlerType屬性

指定使用Mycat全局序列的類型。0為本地檔案方式，1為資料庫方式。預設是使用本地檔案方式，檔案方式主要隻是用于測試使用。

TCP連接配接相關屬性

StandardSocketOptions.SO_RCVBUF
StandardSocketOptions.SO_SNDBUF
StandardSocketOptions.TCP_NODELAY      

以上這三個屬性，分别由：

• frontSocketSoRcvbuf 預設值：1024 * 1024
• frontSocketSoSndbuf 預設值：4 * 1024 * 1024
• frontSocketNoDelay 預設值：1
• backSocketSoRcvbuf 預設值：4 * 1024 * 1024
• backSocketSoSndbuf 預設值：1024 * 1024
• backSocketNoDelay 預設值：1

各自設定前後端TCP連接配接參數。Mycat在每次建立前、後端連接配接的時候都會使用這些參數初始化連接配接。可以按系統要求适當的調整這些buffer的大小。TCP連接配接參數的定義，可以檢視Javadoc。MySQL連接配接相關屬性初始化mysql前後端連接配接所涉及到的一些屬性：

• packetHeaderSize : 指定Mysql協定中的封包頭長度。預設4。
• maxPacketSize : 指定Mysql協定可以攜帶的資料最大長度。預設16M。
• idleTimeout : 指定連接配接的空閑逾時時間。某連接配接在發起空閑檢查下，發現距離上次使用超過了空閑時間，那麼這個連接配接會被回收，就是被直接的關閉掉。預設30分鐘。
• charset : 連接配接的初始化字元集。預設為utf8。
• txIsolation : 前端連接配接的初始化事務隔離級别，隻在初始化的時候使用，後續會根據用戶端傳遞過來的屬性對後端資料庫連接配接進行同步。預設為REPEATED_READ。
• sqlExecuteTimeout:SQL執行逾時的時間，Mycat會檢查連接配接上最後一次執行SQL的時間，若超過這個時間則會直接關閉這連接配接。預設時間為300秒。

周期間隔相關屬性

mycat中有幾個周期性的任務來異步的處理一些我需要的工作。這些屬性就在系統調優的過程中也是比不可少的。

• processorCheckPeriod : 清理NIOProcessor上前後端空閑、逾時和關閉連接配接的間隔時間。預設是1秒。
• dataNodeIdleCheckPeriod : 對後端連接配接進行空閑、逾時檢查的時間間隔，預設是60秒。
• dataNodeHeartbeatPeriod : 對後端所有讀、寫庫發起心跳的間隔時間，預設是10秒。

服務相關屬性

這裡介紹一個與服務相關的屬性，主要會影響外部系統對myact的感覺。

• bindIp : mycat服務監聽的IP位址，預設值為0.0.0.0。
• serverPort : 定義mycat的使用端口，預設值為8066。
• managerPort : 定義mycat的管理端口，預設值為9066。

schema.xml

schema.xml作為MyCat中重要的配置檔案之一，管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置，是正确使用MyCat的前提。這裡就一層層對該檔案進行解析。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
 
 <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
  <table name="user" dataNode="dn1,dn2" rule="auto-sharding-long" />
  <table name="stat_tcp_stream" dataNode="dn2,dn3" rule="auto-sharding-long" />
 </schema>
 <dataNode name="dn1" dataHost="localhost1" database="mpos_tshark_miner_2014" />
 <dataNode name="dn2" dataHost="localhost2" database="mpos_tshark_miner2014" />
 <dataNode name="dn3" dataHost="localhost3" database="mpos_tshark_hrtel" />
 
 <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" dbType="mysql" dbDriver="jdbc" writeType="0" switchType="1"  slaveThreshold="100">
  <heartbeat>select user()</heartbeat>
  <writeHost host="hostM1" url="jdbc:mysql://192.168.1.150:5029" user="root" password="root"></writeHost>
 </dataHost>
 <dataHost name="localhost2" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
  <heartbeat>   </heartbeat>
   <writeHost host="hostM2" url="jdbc:mysql://192.168.1.150:5029" user="root"  password="root"></writeHost> 
  </dataHost>  
 <dataHost name="localhost3" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
  <heartbeat>   </heartbeat>
   <writeHost host="hostM3" url="jdbc:mysql://192.168.1.150:5029" user="root"  password="root"></writeHost> 
  </dataHost>   
</mycat:schema>      

schema标簽

dataNode

該屬性用于綁定邏輯庫到某個具體的database上，如果定義了這個屬性，那麼這個邏輯庫就不能工作在分庫分表模式下了。也就是說對這個邏輯庫的所有操作會直接作用到綁定的dataNode上，這個schema就可以用作讀寫分離和主從切換，具體如下配置:

<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
<!—這裡不能配置任何邏輯表資訊-->
</schema>      

那麼現在USERDB就綁定到dn1所配置的具體database上，可以直接通路這個database。當然該屬性隻能配置綁定到一個database上，不能綁定多個dn。

checkSQLschema

當該值設定為 true 時，如果我們執行語句 select * from  TESTDB.travelrecord; 則MyCat會把語句修改為 select * from  travelrecord; 。即把表示schema的字元去掉，避免發送到後端資料庫執行時報 （ERROR 1146 (42S02):  Table ‘testdb.travelrecord’ doesn’t exist）。 不過，即使設定該值為 true  ，如果語句所帶的是并非是schema指定的名字，例如：select * from db1.travelrecord;   那麼MyCat并不會删除db1這個字段，如果沒有定義該庫的話則會報錯，是以在提供SQL語句的最好是不帶這個字段。

sqlMaxLimit

當該值設定為某個數值時。每條執行的SQL語句，如果沒有加上limit語句，MyCat也會自動的加上所對應的值。例如設定值為100，執行 select * from TESTDB.travelrecord; 的效果為和執行 select * from TESTDB.travelrecord limit  100; 相同。不設定該值的話，MyCat預設會把查詢到的資訊全部都展示出來，造成過多的輸出。是以，在正常使用中，還是建議加上一個值，用于減少過多的資料傳回。當然SQL語句中也顯式的指定limit的大小，不受該屬性的限制。

table标簽

<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" ></table>      

Table 标簽定義了MyCat中的邏輯表，所有需要拆分的表都需要在這個标簽中定義。

name屬性

定義邏輯表的表名，這個名字就如同我在資料庫中執行create table指令指定的名字一樣，同個schema标簽中定義的名字必須唯一。

dataNode屬性

定義這個邏輯表所屬的dataNode, 該屬性的值需要和dataNode标簽中name屬性的值互相對應。如果需要定義的dn過多可以使用如下的方法減少配置：

<table name="travelrecord" dataNode="multipleDn$0-99,multipleDn2$100-199" rule="auto-sharding-long" ></table>
<dataNode name="multipleDn" dataHost="localhost1" database="db$0-99" ></dataNode>
<dataNode name="multipleDn2" dataHost="localhost1" database=" db$0-99" ></dataNode>      

這裡需要注意的是database屬性所指定的真實database name需要在後面添加一個，例如上面的例子中，我需要在真實的mysql上建立名稱為dbs0到dbs99的database。

rule屬性

該屬性用于指定邏輯表要使用的規則名字，規則名字在rule.xml中定義，必須與tableRule标簽中name屬性屬性值一一對應。

primaryKey屬性

該邏輯表對應真實表的主鍵，例如：分片的規則是使用非主鍵進行分片的，那麼在使用主鍵查詢的時候，就會發送查詢語句到所有配置的DN上，如果使用該屬性配置真實表的主鍵。難麼MyCat會緩存主鍵與具體DN的資訊，那麼再次使用非主鍵進行查詢的時候就不會進行廣播式的查詢，就會直接發送語句給具體的DN，但是盡管配置該屬性，如果緩存并沒有命中的話，還是會發送語句給具體的DN，來獲得資料。

type屬性

該屬性定義了邏輯表的類型，目前邏輯表隻有“全局表”和”普通表”兩種類型。對應的配置：全局表：global。普通表：不指定該值為globla的所有表。

autoIncrement屬性

MySQL對非自增長主鍵，使用last_insert_id()是不會傳回結果的，隻會傳回0。是以，隻有定義了自增長主鍵的表才可以用last_insert_id()傳回主鍵值。mycat目前提供了自增長主鍵功能，但是如果對應的mysql節點上資料表，沒有定義auto_increment，那麼在mycat層調用last_insert_id()也是不會傳回結果的。由于insert操作的時候沒有帶入分片鍵，mycat會先取下這個表對應的全局序列，然後指派給分片鍵。這樣才能正常的插入到資料庫中，最後使用last_insert_id()才會傳回插入的分片鍵值。如果要使用這個功能最好配合使用資料庫模式的全局序列。使用autoIncrement=“true” 指定這個表有使用自增長主鍵，這樣mycat才會不抛出分片鍵找不到的異常。使用autoIncrement=“false”  來禁用這個功能，當然你也可以直接删除掉這個屬性。預設就是禁用的。

needAddLimit屬性

指定表是否需要自動的在每個語句後面加上limit限制。由于使用了分庫分表，資料量有時會特别巨大。這時候執行查詢語句，如果恰巧又忘記了加上數量限制的話。那麼查詢所有的資料出來，也夠等上一小會兒的。是以，mycat就自動的為我們加上LIMIT 100。當然，如果語句中有limit，就不會在次添加了。這個屬性預設為true,你也可以設定成false`禁用掉預設行為。

childTable标簽

childTable标簽用于定義E-R分片的子表。通過标簽上的屬性與父表進行關聯

<table name="customer" primaryKey="ID" dataNode="dn1,dn2"
 rule="sharding-by-intfile">
 <childTable name="orders" primaryKey="ID" joinKey="customer_id"
  parentKey="id">
  <childTable name="order_items" joinKey="order_id"
   parentKey="id" />
 </childTable>
 <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"
  parentKey="id" />
</table>      

定義子表的表名。

joinKey屬性

插入子表的時候會使用這個列的值查找父表存儲的資料節點。

parentKey屬性

屬性指定的值一般為與父表建立關聯關系的列名。程式首先擷取joinkey的值，再通過 parentKey 屬性指定的列名産生查詢語句，通過執行該語句得到父表存儲在哪個分片上。進而确定子表存儲的位置。

同table标簽所描述的。

dataNode标簽

<dataNode name="dn1" dataHost="lch3307" database="db1" ></dataNode>      

dataNode 标簽定義了MyCat中的資料節點，也就是我們通常說所的資料分片。一個dataNode  标簽就是一個獨立的資料分片。例子中所表述的意思為：使用名字為lch3307資料庫執行個體上的db1實體資料庫，這就組成一個資料分片，最後，我們使用名字dn1辨別這個分片。

定義資料節點的名字，這個名字需要是唯一的，我們需要在table标簽上應用這個名字，來建立表與分片對應的關系。

dataHost屬性

該屬性用于定義該分片屬于哪個資料庫執行個體的，屬性值是引用dataHost标簽上定義的name屬性。

database屬性

該屬性用于定義該分片屬性哪個具體資料庫執行個體上的具體庫，因為這裡使用兩個緯度來定義分片，就是：執行個體+具體的庫。因為每個庫上建立的表和表結構是一樣的。是以這樣做就可以輕松的對表進行水準拆分。

dataHost标簽

作為Schema.xml中最後的一個标簽，該标簽在mycat邏輯庫中也是作為最底層的标簽存在，直接定義了具體的資料庫執行個體、讀寫分離配置和心跳語句。現在我們就解析下這個标簽。

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="localhost:3306" user="root"
password="123456">
<!-- can have multi read hosts -->
<!-- <readHost host="hostS1" url="localhost:3306" user="root" password="123456"
/> -->
</writeHost>
<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
</dataHost>      

唯一辨別dataHost标簽，供上層的标簽使用。

maxCon屬性

指定每個讀寫執行個體連接配接池的最大連接配接。也就是說，标簽内嵌套的writeHost、readHost标簽都會使用這個屬性的值來執行個體化出連接配接池的最大連接配接數。

minCon屬性

指定每個讀寫執行個體連接配接池的最小連接配接，初始化連接配接池的大小。

balance屬性

負載均衡類型，目前的取值有3種：

• balance=“0”, 所有讀操作都發送到目前可用的writeHost上。
• balance=“1”，所有讀操作都随機的發送到readHost。
• balance=“2”，所有讀操作都随機的在writeHost、readhost上分發。

writeType屬性

• writeType=“0”, 所有寫操作都發送到可用的writeHost上。
• writeType=“1”，所有寫操作都随機的發送到readHost。
• writeType=“2”，所有寫操作都随機的在writeHost、readhost分上發。

dbType屬性

指定後端連接配接的資料庫類型，目前支援二進制的mysql協定，還有其他使用JDBC連接配接的資料庫。例如：mongodb、oracle、spark等。

dbDriver屬性

指定連接配接後端資料庫使用的Driver，目前可選的值有native和JDBC。使用native的話，因為這個值執行的是二進制的mysql協定，是以可以使用mysql和maridb。其他類型的資料庫則需要使用JDBC驅動來支援。如果使用JDBC的話需要将符合JDBC  4标準的驅動JAR包放到MYCAT\lib目錄下，并檢查驅動JAR包中包括如下目錄結構的檔案：META-INF\services\java.sql.Driver。在這個檔案内寫上具體的Driver類名，例如：com.mysql.jdbc.Driver。

heartbeat标簽

這個标簽内指明用于和後端資料庫進行心跳檢查的語句。例如,MYSQL可以使用select user()，Oracle可以使用select 1 from  dual等。這個标簽還有一個connectionInitSql屬性，主要是當使用Oracla資料庫時，需要執行的初始化SQL語句就這個放到這裡面來。例如：alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'

writeHost标簽、readHost标簽

這兩個标簽都指定後端資料庫的相關配置給mycat，用于執行個體化後端連接配接池。唯一不同的是，writeHost指定寫執行個體、readHost指定讀執行個體，組着這些讀寫執行個體來滿足系統的要求。在一個dataHost内可以定義多個writeHost和readHost。但是，如果writeHost指定的後端資料庫當機，那麼這個writeHost綁定的所有readHost都将不可用。另一方面，由于這個writeHost當機系統會自動的檢測到，并切換到備用的writeHost上去。這兩個标簽的屬性相同，這裡就一起介紹。

host屬性

用于辨別不同執行個體，一般writeHost我們使用M1，readHost我們用S1。

url屬性

後端執行個體連接配接位址，如果是使用native的dbDriver，則一般為address:port這種形式。用JDBC或其他的dbDriver，則需要特殊指定。當使用JDBC時則可以這麼寫：jdbc:mysql://localhost:3306/。

user屬性

後端存儲執行個體需要的使用者名字

password屬性

後端存儲執行個體需要的密碼

rule.xml

rule.xml裡面就定義了我們對表進行拆分所涉及到的規則定義。我們可以靈活的對表使用不同的分片算法，或者對表使用相同的算法但具體的參數不同。這個檔案裡面主要有tableRule和function這兩個标簽。在具體使用過程中可以按照需求添加tableRule和function。

tableRule标簽

這個标簽定義表規則。定義的表規則，在rule.xml：

<tableRule name="rule1">
 <rule>
  <columns>id</columns>
  <algorithm>func1</algorithm>
 </rule>
</tableRule>      

name 屬性指定唯一的名字，用于辨別不同的表規則。内嵌的rule标簽則指定對實體表中的哪一列進行拆分和使用什麼路由算法。columns  内指定要拆分的列名字。algorithm  使用function标簽中的name屬性。連接配接表規則和具體路由算法。當然，多個表規則可以連接配接到同一個路由算法上。标簽内使用。讓邏輯表使用這個規則進行分片。

function标簽

<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap">
 <property name="mapFile">partition-hash-int.txt</property>
</function>      

其中，各屬性如下所示。

• name 指定算法的名字。
• class 制定路由算法具體的類名字。
• property 為具體算法需要用到的一些屬性。