配置mongodb分片群集(sharding cluster)
這是一種可以水準擴充的模式，在資料量很大時特給力，實際大規模應用一般會采用這種架構去建構monodb系統。
要建構一個 MongoDB Sharding Cluster，需要三種角色：
Shard Server:mongod執行個體，用于存儲實際的資料塊，實際生産環境中一個shard server角色可由幾台機器組個一個relica set承擔，防止主機單點故障
Config Server:mongod執行個體，存儲了整個 ClusterMetadata，其中包括 chunk資訊。
Route Server:mongos執行個體，前端路由，用戶端由此接入，且讓整個叢集看上去像單一資料庫，前端應用可以透明使用。
Sharding架構圖:
本例實際環境架構
本例架構示例圖：
分别在3台機器運作一個mongod執行個體（稱為mongod shard11，mongod shard12，mongod shard13）組織replica set1，作為cluster的shard1
1. 分别在3台機器運作一個mongod執行個體（稱為mongod shard21，mongod shard22，mongod shard23）組織replica set2，作為cluster的shard2
2. 每台機器運作一個mongod執行個體，作為3個config server
3. 每台機器運作一個mongs程序，用于用戶端連接配接
| 主機 | IP | 端口資訊 |
| Server1 | 10.1.1.1 | mongod shard11:27017 mongod shard21:27018 mongod config1:20000 mongs1:30000 |
| Server2 | 10.1.1.2 | mongod shard12:27017 mongod shard22:27018 mongod config2:20000 mongs2:30000 |
| Server3 | 10.1.1.3 | mongod shard13:27017 mongod shard23:27018 mongod config3:20000 mongs3:30000 |
軟體準備
軟體準備
1. 建立使用者
groupadd -g 20001 mongodb
useradd -u 20001 -g mongodb mongodb
passwd mongodb
2. 安裝monodb軟體
su – mongodb
tar zxvf mongodb-linux-x86_64-1.6.2.tar
安裝好後，目錄結構如下：
$ tree mongodb-linux-x86_64-1.6.2
mongodb-linux-x86_64-1.6.2
|– GNU-AGPL-3.0
|– README
|– THIRD-PARTY-NOTICES
`– bin
|– bsondump
|– mongo
|– mongod
|– mongodump
|– mongoexport
|– mongofiles
|– mongoimport
|– mongorestore
|– mongos
|– mongosniff
`– mongostat
1 directory, 14 files
3. 建立資料目錄
根據本例sharding架構圖所示，在各台sever上建立shard資料檔案目錄
Server1:
su – monodb
cd /home/monodb
mkdir -p data/shard11
mkdir -p data/shard21
Server2:
su – monodb
cd /home/monodb
mkdir -p data/shard12
mkdir -p data/shard22
Server3:
su – monodb
cd /home/monodb
mkdir -p data/shard13
mkdir -p data/shard23
配置relica sets
1. 配置shard1所用到的replica sets:
Server1:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath/home/mongodb/data/shard11 –oplogSize 100 –logpath/home/mongodb/data/shard11.log –logappend –fork
Server2:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath/home/mongodb/data/shard12 –oplogSize 100 –logpath/home/mongodb/data/shard12.log –logappend –fork
Server3:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath/home/mongodb/data/shard13 –oplogSize 100 –logpath/home/mongodb/data/shard13.log –logappend –fork
初始化replica set
用mongo連接配接其中一個mongod，執行:
> config = {_id: ’shard1′, members: [
{_id: 0, host: '10.1.1.1:27017'},
{_id: 1, host: '10.1.1.2:27017'},
{_id: 2, host: '10.1.1.3:27017'}]
}
>rs.initiate(config);
同樣方法，配置shard2用到的replica sets:
server1:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath/home/mongodb/data/shard21 –oplogSize 100 –logpath/home/mongodb/data/shard21.log –logappend –fork
server2:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath /home/mongodb/data/shard22–oplogSize 100 –logpath /home/mongodb/data/shard22.log –logappend –fork
server3:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath/home/mongodb/data/shard23 –oplogSize 100 –logpath /home/mongodb/data/shard23.log–logappend –fork
初始化replica set
用mongo連接配接其中一個mongod，執行:
> config = {_id: ’shard2′, members: [
{_id: 0, host: '10.1.1.1:27018'},
{_id: 1, host: '10.1.1.2:27018'},
{_id: 2, host: '10.1.1.3:27018'}]
}
>rs.initiate(config);
到此就配置好了二個replica sets，也就是準備好了二個shards
配置三台config server
Server1:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath/home/mongodb/data/config.log –logappend –fork #config server也需要dbpath
Server2:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath/home/mongodb/data/config.log –logappend –fork
Server3:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath/home/mongodb/data/config.log –logappend –fork
配置mongs
在server1,server2,server3上分别執行：
./mongos –configdb 10.1.1.1:20000,10.1.1.2:20000,10.1.1.3:20000 –port 30000–chunkSize 5 –logpath /home/mongodb/data/mongos.log –logappend –fork
#mongs不需要dbpath
Configuring theShard Cluster
連接配接到其中一個mongos程序，并切換到admin資料庫做以下配置
1. 連接配接到mongs，并切換到admin
./mongo 10.1.1.1:30000/admin
>db
Admin
2. 加入shards
如裡shard是單台伺服器，用>db.runCommand( { addshard : “[:]” } )這樣的指令加入，如果shard是replica sets，用replicaSetName/[:port][,serverhostname2[:port],…]這樣的格式表示，例如本例執行：
>db.runCommand( { addshard :“shard1/10.1.1.1:27017,10.1.1.2:27017,10.1.1.3:27017″,name:”s1″,maxsize:20480});
>db.runCommand( { addshard :“shard2/10.1.1.1:27018,10.1.1.2:27018,10.1.1.3:27018″,name:”s2″,maxsize:20480});
注意：在添加第二個shard時，出現error:test database已經存在的錯誤，這裡用mongo指令連接配接到第二個replica set，用db.dropDatabase()指令把test資料庫給删除然後就可加入
3. 可選參數
Name:用于指定每個shard的名字，不指定的話系統将自動配置設定
maxSize:指定各個shard可使用的最大磁盤空間，機關megabytes
4. Listingshards
>db.runCommand( { listshards : 1 } )
如果列出了以上二個你加的shards，表示shards已經配置成功
5. 激活資料庫分片
指令：
> db.runCommand( { enablesharding : “” } );
通過執行以上指令，可以讓資料庫跨shard，如果不執行這步，資料庫隻會存放在一個shard，一旦激活資料庫分片，資料庫中不同的collection将被存放在不同的shard上，但一個collection仍舊存放在同一個shard上，要使單個collection也分片，還需單獨對 collection作些操作
Collecton分片
要使單個collection也分片存儲，需要給collection指定一個分片key，通過以下指令操作：
> db.runCommand( { shardcollection : “”,key : });
注：
a. 分片的collection系統會自動建立一個索引（也可使用者提前建立好）
b. 分片的collection隻能有一個在分片key上的唯一索引，其它唯一索引不被允許
One note: a sharded collection can have only one unique index, which must existon the shard key. No other unique indexes can exist on the collection.
分片collection例子
>db.runCommand({ shardcollection : “test.c1″,key : {id: 1} } )
>for (var i = 1; i <= 200003; i++)db.c1.save({id:i,value1:”1234567890″,value2:”1234567890″,value3:”1234567890″,value4:”1234567890″});
> db.c1.stats()
{
“sharded” : true,
“ns” : “test.c1″,
“count” : 200003,
“size” : 25600384,
“avgObjSize” : 128,
“storageSize” : 44509696,
“nindexes” : 2,
“nchunks” : 15,
“shards” : {
“s1″ : {
“ns” : “test.c1″,
“count” : 141941,
“size” : 18168448,
“avgObjSize” : 128,
“storageSize” : 33327616,
“numExtents” : 8,
“nindexes” : 2,
“lastExtentSize” : 12079360,
“paddingFactor” : 1,
“flags” : 1,
“totalIndexSize” : 11157504,
“indexSizes” : {
“_id_” : 5898240,
“id_1″ : 5259264
},
“ok” : 1
},
“s2″ : {
“ns” : “test.c1″,
“count” : 58062,
“size” : 7431936,
“avgObjSize” : 128,
“storageSize” : 11182080,
“numExtents” : 6,
“nindexes” : 2,
“lastExtentSize” : 8388608,
“paddingFactor” : 1,
“flags” : 1,
“totalIndexSize” : 4579328,
“indexSizes” : {
“_id_” : 2416640,
“id_1″ : 2162688
},
“ok” : 1
}
},
“ok” : 1
}
轉載自：http://www.taobaodba.com/html/525_525.html