【资料整理】分库&分表

  1. 云栖社区>
  2. 博客>
  3. 正文

【资料整理】分库&分表

摩云飞 2016-05-11 13:19:26 浏览3474
展开阅读全文

      此贴用于扫盲。
=============================== 

【分表】
(下面说到的内容都是基于“按照关系型数据库的第三范式要求应该在同一个表的”的情况)
 
       分表,最直白的意思,就是将一个表结构分为多个表,分表后,可以存在于同一个库里,也可以放到不同的库。
 
【为什么要分表?】
        保证单表的容量不会太大,从而来保证单表的查询等处理能力。例如单表记录条数达到百万到千万级别时就要使用分表。
 
【分表方式?】
 
1.纵向分表
根据数据的活跃度进行拆分。
 
2.横向分表
把大的表结构,横向切割为同样结构的不同表。
 
 
冷数据:变化频率慢,查询次数多的数据。冷数据使用 MyIsam 可以有更好的查询性能。对冷数据,可以配置更多的从库,因为大部分操作是查询,可以加快查询速度。
活跃数据:统计信息,或者变化频率比较高的数据。活跃数据可以使用 Innodb ,可以有更好的更新速度。对热数据,可以相对有更多的横向分表处理。
 
 
===============================
【分库】
 
【为什么要分库?】
       随着数据量增加也许单台DB的存储空间不够,随着查询量的增加单台数据库服务器已经没办法支撑。
 
 
【单库单表 -> 单库多表 -> 多库多表】
 
       例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能。可以通过某种方式将user进行水平的切分,产生表结构完全一样的user_0000,user_0001等表。随着数据量增加也许单台DB的存储空间不够,随着查询量的增加单台数据库服务器已经没办法支撑。这个时候可以再对库进行水平切分。
 
【分库分表产生的问题及注意事项】
 
1.分库分表维度的问题
       假如用户购买了商品,需要将交易记录保存取来,如果按照用户的纬度分表,则每个用户的交易记录都保存在同一表中,所以很快很方便的查找到某用户的购买情况,但是某商品被购买的情况则很有可能分布在多张表中,查找起来比较麻烦。反之,按照商品维度分表,可以很方便的查找到此商品的购买情况,但要查找到买人的交易记录比较麻烦。
 
所以常见的解决方式有:
     a.通过扫表的方式解决,此方法基本不可能,效率太低了。
     b.记录两份数据,一份按照用户纬度分表,一份按照商品维度分表。
     c.通过搜索引擎解决,但如果实时性要求很高,又得关系到实时搜索。
 
2.联合查询的问题
       联合查询基本不可能,因为关联的表有可能不在同一数据库中。
 
3.避免跨库事务
       避免在一个事务中修改db0中的表的时候同时修改db1中的表,一个是操作起来更复杂,效率也会有一定影响。
 
4.尽量把同一组数据放到同一DB服务器上
       例如将卖家a的商品和交易信息都放到db0中,当db1挂了的时候,卖家a相关的东西可以正常使用。也就是说避免数据库中的数据依赖另一数据库中的数据。
 
 
----------------------------------------------
下面这片短文中谈到MySQL的问题,贴出来看看。
 
【MySQL使用为什么要分库分表】
http://www.thinksaas.cn/group/topic/26653/
 
可以用说用到MySQL的地方,只要数据量一大,,马上就会遇到一个问题:要分库分表。
 
这里引出一个问题:为什么要分库分表呢?MySQL处理不了大表吗?
 
       其实是可以处理的大表的。在我所经历的项目中,单表在物理上的文件大小为80G左右,单表记录数在5亿以上,而且这个表属于一个非常核心的表:朋友关系表。
 
       但这种方式可以说不是一个最佳方式。因为面临某些文件系统时 - 如Ext3文件系统 - 在对大文件的处理上会有许多问题。
 
       这个层面可以用xfs文件系统进行替换。但MySQL单表太大后有一个问题是不好解决: 表结构调整相关的操作基本不在可能。所以大项目在实际使用中都会面临着分库分表的应用。
 
       从Innodb本身来讲数据文件的Btree上只有两个锁,叶子节点锁和子节点锁。可想而知,当发生页拆分或是添加新叶时都会造成表里不能写入数据。
 
所以分库分表就是一个比较好的选择了。 那么分库分表多少合适呢?
 
       经测试,在单表1000万条记录以下,写入读取性能是比较好的。如果再留点buffer,那么单表全是数据字型数据的可以保持在800万条记录以下,有字符型的单表可以保持在500万以下。
 
如果按100库100表来规划,如用户业务:
 
500万*100*100 = 50000000万 = 5000亿记录
 
心里有一个数了,按业务做规划还是比较容易的。
 
----------------------------------------------------------------

网友评论

登录后评论
0/500
评论
摩云飞
+ 关注