MongoDB 分片概述
分片
在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。
当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。
为什么使用分片
-
复制所有的写入操作到主节点
-
延迟的敏感数据会在主节点查询
-
单个副本集限制在12个节点
-
当请求量巨大时会出现内存不足。
-
本地磁盘不足
-
垂直扩展价格昂贵
MongoDB分片
下图展示了在MongoDB中使用分片集群结构分布：
上图中主要有如下所述三个主要组件：
-
Shard:
用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
-
Config Server:
mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息。
-
Query Routers:
前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
分片实例
192.168.1.100 : mongos
192.168.1.110 : config server
192.168.1.101 : Shard1
192.168.1.102 : Shard2
以上四个主机上都以安装mongodb数据库。
一.配置config server
编辑配置文件mongod.conf:
|
1
|
vim
/etc/mongod
.conf
|
添加如下并启用config server服务:
|
1
|
configsvr=
true
|
重新启动mongodb服务:
|
1
|
service mongod restart
|
注:默认监听27019端口。也可以使用如下命令启动mongod进程。
|
1
|
# mongod --configsvr --dbpath <path> --port <port>
|
此时，默认端口由27017变为27019：
二.配置mongos实例
安装mongos:
|
1
|
yum
install
mongodb-org-mongos-2.6.1-1.x86_64.rpm
|
启动mongos：
|
1
|
mongos --configdb=192.168.1.110 --fork --logpath=
/var/log/mongodb/mongos
.log
|
注:mongos属于轻量级应用，完全可以与其它服务运行于同一节点；启动时，需要为mongos实例指明各config服务器的访问地址；
默认情况下，mongos监听于27017端口；可以使用如下命令启动mongos实例。
|
1
|
# mongos --configdb <config server hostnames((IP|Hostname):Port)>
|
也可以直接编辑配置文件：
1、注释dbpath指令；
2、添加configdb指令，并指定config服务器的地址；
而后使用如下命令启动mongos实例：
|
1
|
# mongos -f /etc/mongod.conf
|
登录mongos并配置shard节点：
|
1
2
3
4
5
|
mongo --host 192.168.1.100
mongos> sh.addShard(
"192.168.1.101"
)
{
"shardAdded"
:
"shard0000"
,
"ok"
: 1 }
mongos> sh.addShard(
"192.168.1.102"
)
{
"shardAdded"
:
"shard0001"
,
"ok"
: 1 }
|
查看shard状态：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id"
: 1,
"version"
: 4,
"minCompatibleVersion"
: 4,
"currentVersion"
: 5,
"clusterId"
: ObjectId(
"58d4bd8a102ad4bdad74aa1d"
)
}
shards:
{
"_id"
:
"shard0000"
,
"host"
:
"192.168.1.101:27017"
}
{
"_id"
:
"shard0001"
,
"host"
:
"192.168.1.102:27017"
}
databases:
{
"_id"
:
"admin"
,
"partitioned"
:
false
,
"primary"
:
"config"
}
|
启动sharding功能：
|
1
2
|
mongos> sh.enableSharding(
"testdb"
)；
{
"ok"
: 1 }
|
注:mongodb的shard功能实现于collection级别，但若要在collection上启动shard，还需要事先其相关的数据库上启用之。在数据库上启用shard功能后，MongoDB会为其指定一个主shard。
启用过程需要mongos实例上实现，可以使用sh.enableSharding()方法，也可以使用db.runCommand()的“enableSharding命令，它们的使用格式分别如下所示：
|
1
2
|
sh.enableSharding(
"<database>"
)
db.runCommand( { enableSharding: <database> } )
|
此时，再次查看shard状态为:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id"
: 1,
"version"
: 4,
"minCompatibleVersion"
: 4,
"currentVersion"
: 5,
"clusterId"
: ObjectId(
"58d4bd8a102ad4bdad74aa1d"
)
}
shards:
{
"_id"
:
"shard0000"
,
"host"
:
"192.168.1.101:27017"
}
{
"_id"
:
"shard0001"
,
"host"
:
"192.168.1.102:27017"
}
databases:
{
"_id"
:
"testdb"
,
"partitioned"
:
true
,
"primary"
:
"shard0000"
}
|
测试：
在collection上进行sharding:
|
1
2
|
mongos> sh.shardCollection(
"testdb.student"
,{
"age"
:1})
{
"collectionsharded"
:
"testdb.student"
,
"ok"
: 1 }
|
插入数据:
|
1
2
|
mongos>
for
(i=1;i<=100000;i++) db.student.insert({name:
"student"
+i,age:(i%120),classes:
"class+(i%10)"
});
WriteResult({
"nInserted"
: 1 })
|
此时我们再次查看sharding状态如下:
