【资料整理】分库&分表

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

      此贴用于扫盲。
=============================== 

【分表】
(下面说到的内容都是基于“按照关系型数据库的第三范式要求应该在同一个表的”的情况)
 
       分表,最直白的意思,就是将一个表结构分为多个表,分表后,可以存在于同一个库里,也可以放到不同的库。
 
【为什么要分表?】
         保证单表的容量不会太大,从而来保证单表的查询等处理能力。例如单表记录条数达到百万到千万级别时就要使用分表。
 
【分表方式?】
 
1.纵向分表
根据数据的活跃度进行拆分。
 
2.横向分表
把大的表结构,横向切割为同样结构的不同表。
 
 
冷数据:变化频率慢,查询次数多的数据。冷数据使用 MyIsam 可以有更好的查询性能。对冷数据,可以配置更多的从库,因为大部分操作是查询,可以加快查询速度。
活跃数据:统计信息,或者变化频率比较高的数据。活跃数据可以使用 Innodb ,可以有更好的更新速度。对热数据,可以相对有更多的横向分表处理。
 
 
===============================
【分库】
 
【为什么要分库?】
       随着数据量增加也许单台DB的存储空间不够,随着查询量的增加单台数据库服务器已经没办法支撑。
 
 
【单库单表 -> 单库多表 -> 多库多表】
 
       例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能。可以通过某种方式将user进行水平的切分,产生表结构完全一样的user_0000,user_0001等表。随着数据量增加也许单台DB的存储空间不够,随着查询量的增加单台数据库服务器已经没办法支撑。这个时候可以再对库进行水平切分。
 
【分库分表产生的问题及注意事项】
 
1.分库分表维度的问题
       假如用户购买了商品,需要将交易记录保存取来,如果按照用户的纬度分表,则每个用户的交易记录都保存在同一表中,所以很快很方便的查找到某用户的购买情况,但是某商品被购买的情况则很有可能分布在多张表中,查找起来比较麻烦。反之,按照商品维度分表,可以很方便的查找到此商品的购买情况,但要查找到买人的交易记录比较麻烦。
 
所以常见的解决方式有:
     a.通过扫表的方式解决,此方法基本不可能,效率太低了。
     b.记录两份数据,一份按照用户纬度分表,一份按照商品维度分表。
     c.通过搜索引擎解决,但如果实时性要求很高,又得关系到实时搜索。
 
2.联合查询的问题
       联合查询基本不可能,因为关联的表有可能不在同一数据库中。
 
3.避免跨库事务
       避免在一个事务中修改db0中的表的时候同时修改db1中的表,一个是操作起来更复杂,效率也会有一定影响。
 
4.尽量把同一组数据放到同一DB服务器上
       例如将卖家a的商品和交易信息都放到db0中,当db1挂了的时候,卖家a相关的东西可以正常使用。也就是说避免数据库中的数据依赖另一数据库中的数据。
 
 
----------------------------------------------
下面这片短文中谈到MySQL的问题,贴出来看看。
 
【MySQL使用为什么要分库分表】
http://www.thinksaas.cn/group/topic/26653/
 
可以用说用到MySQL的地方,只要数据量一大,,马上就会遇到一个问题:要分库分表。
 
这里引出一个问题:为什么要分库分表呢?MySQL处理不了大表吗?
 
       其实是可以处理的大表的。在我所经历的项目中,单表在物理上的文件大小为80G左右,单表记录数在5亿以上,而且这个表属于一个非常核心的表:朋友关系表。
 
       但这种方式可以说不是一个最佳方式。因为面临某些文件系统时 - 如Ext3文件系统 - 在对大文件的处理上会有许多问题。
 
       这个层面可以用xfs文件系统进行替换。但MySQL单表太大后有一个问题是不好解决: 表结构调整相关的操作基本不在可能。所以大项目在实际使用中都会面临着分库分表的应用。
 
       从Innodb本身来讲数据文件的Btree上只有两个锁,叶子节点锁和子节点锁。可想而知,当发生页拆分或是添加新叶时都会造成表里不能写入数据。
 
所以分库分表就是一个比较好的选择了。  那么分库分表多少合适呢?
 
       经测试,在单表1000万条记录以下,写入读取性能是比较好的。如果再留点buffer,那么单表全是数据字型数据的可以保持在800万条记录以下,有字符型的单表可以保持在500万以下。
 
如果按100库100表来规划,如用户业务:
 
500万*100*100 = 50000000万 = 5000亿记录
 
心里有一个数了,按业务做规划还是比较容易的。
 
----------------------------------------------------------------

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4月前
|
存储 大数据 数据库
分库分表知识总结(三)之水平分表
分库分表知识总结(三)之水平分表
46 0
|
4月前
|
存储 监控 数据库
分库分表知识总结(二)之垂直分表
分库分表知识总结(二)之垂直分表
50 1
|
存储 SQL NoSQL
mybatis-plus小技能: 分表策略(按年分表和按月分表)
业务场景: 日志、交易流水表或者其他数据量大的表,通过日期进行了水平分表,需要通过日期参数,动态的查询数据。 实现思路:利用MybatisPlus的动态表名插件DynamicTableNameInnerInterceptor ,实现Sql执行时,动态的修改表名。
3925 2
mybatis-plus小技能: 分表策略(按年分表和按月分表)
|
11月前
|
存储 数据处理 数据库
分表方案有哪些
分表方案有哪些
81 0
|
11月前
|
存储 数据库连接 数据库
分库方案有哪些
分库方案有哪些
75 0
|
11月前
|
存储 JavaScript Java
亿级别大表拆分 —— 记一次分表工作的心路历程
亿级别大表拆分 —— 记一次分表工作的心路历程
|
11月前
|
存储 程序员 数据库
如何选择合适的分表分库方案
如何选择合适的分表分库方案
68 0
作为5年开发的程序员你不懂分表分库的实现思路,我表示不理解
分表分库实现思路 技术选型这一难题解决后,具体如何落实分表分库方案呢?需要考虑5个要点。 1)使用什么字段作为分片主键? 2)分片的策略是什么? 3)业务代码如何修改? 4)历史数据如何迁移? 5)未来的扩容方案是什么?
|
算法
Mycat分表分库规则--待发文
Mycat分表分库规则--待发文
63 0
Mycat分表分库规则--待发文
|
存储 数据库 索引
数据分表分库的基本思路
当一个数据库被创建之后,随着时间的推移和业务量的增加,数据库中的表以及表中的数据量都会越来越多,就有可能会出现两种弊端: (1)数据库的存储资源是有限的,其负载能力也是有限的,数据的大量积累肯定会导致其处理数据的能力下降; (2)数据量越多,那么对数据的增删改查等操作的开销也会越来越大; 所以,当出现如上两种情况,分库分表势在必行。
85 0

热门文章

最新文章