小猿日记(11) - 单表亿级数据分表实战

简介: 单表亿级数据分表实战

声明

本文故事纯属遐想,如有雷同,我是原创。

欢迎转载。
转载请务必注明以下信息。
原作者:谙忆
原文链接: https://chenhx.blog.csdn.net/article/details/106446270

公众号

阅代码原理,看框架知识,学企业实践;
赏诗词,读日记,踏人生之路,观世界之行;
欢迎扫码关注公众号:程序编程之旅
程序编程之旅

概述

5000万单表数据,没有自增ID,要切分到128个表中。

如何选择切分字段,如何优化迁移速度,如何估计分表还是分库分表,如何确定分表数量?

口水记

最近将单表进行了拆分。

虽然是saas平台的权限系统,但是由于前期设计问题,开始在某些表中是没有租户标识的

所以这次给表加上了租户的标识。

改造数据库表结构,最大的难点不是知道如何改。而是变更落地。不遗漏。

经过两次的排查,将所有接口,所有依赖应用全部找出来,全部进行修改。

虽说没有测试人员,但是也顺利上线,没有bug。

然后就是分表问题,这里不选择分库,原因就是,我们的产品面向的是B端,数据库压力并不大,看了现在数据库的一些指标,单个库完全能够支持。

分表数量如何取,这里面要根据实际的一个情况来。

更多内容可以关注公众号或者阅读原文:
https://chenhx.blog.csdn.net/article/details/106446270

目录
相关文章
|
8月前
|
SQL 存储 分布式数据库
如何同时兼顾多维分析和快速查询的需求?Kudu来帮忙!彭文华
如何同时兼顾多维分析和快速查询的需求?Kudu来帮忙!彭文华
|
10月前
|
SQL 关系型数据库 MySQL
线上千万级大表排序:优化攻略揭秘,轻松应对海量数据!
前段时间应急群有客服反馈,会员管理功能无法按到店时间、到店次数、消费金额 进行排序。经过排查发现是Sql执行效率低,并且索引效率低下。遇到这样的情况我们该如何处理呢?今天我们聊一聊Mysql大表查询优化。
线上千万级大表排序:优化攻略揭秘,轻松应对海量数据!
|
11月前
|
存储 JavaScript Java
亿级别大表拆分 —— 记一次分表工作的心路历程
亿级别大表拆分 —— 记一次分表工作的心路历程
|
存储 缓存 自然语言处理
阿里二面:MySQL索引是怎么支撑千万级表的快速查找?
在 MySQL 官方提到,改善操作性能的最佳方法 SELECT 在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针,从而使查询可以快速确定哪些行与WHERE子句中的条件匹配,并检索这些行的其他列值。所有MySQL数据类型都可以建立索引。
234 0
|
SQL 中间件 关系型数据库
MyCat-架构剖析-核心技术之数据汇聚与排序实现 | 学习笔记
快速学习 MyCat-架构剖析-核心技术之数据汇聚与排序实现
88 0
MyCat-架构剖析-核心技术之数据汇聚与排序实现 | 学习笔记
|
中间件 数据库连接 数据库
分库分布的几件小事(二)如何进行分库分表的数据迁移
如何进行分库分表的数据迁移,如何业务无感知迁移数据
|
数据采集 算法 关系型数据库
数据库日增 20 万条数据,用读写分离和分库分表加持破它
数据库日增 20 万条数据,用读写分离和分库分表加持破它
113 0
数据库日增 20 万条数据,用读写分离和分库分表加持破它
|
存储 缓存 数据库
三分钟理解分库分表
这篇文章的脉络如下: 1、分库分表之前出现的问题 2、怎么分库分表? 3、分库分表的规则是什么? 下面按照这个脉络给出今天的文章
253 0
|
存储 关系型数据库 MySQL
MySQL索引的测试 (千万级数据) 以及特点总结|周末学习
创建表 可以看到这里创建的索引类型都是 BTREE -- ---------------------------- -- Table structure for mall -- ---------------------------- DROP TABLE IF EXISTS `mall`; CREATE TABLE `mall` ( `id` int(11) NOT NULL AUTO_INCREMENT, `categoryId` int(11) NOT NULL, `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_gen
240 0
|
运维 数据库连接 数据库
分表后需要注意的二三事
先来简单回顾下上次提到了哪些内容: 分表策略:哈希、时间归档等。 分表字段的选择。 数据迁移方案。 而本篇文章的背景是在我们上线这段时间遇到的一些问题并尝试解决的方案。