MySQL分区

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:


 分区概述

1  简介

Mysql 5.1版本开始支持分区。分区的过程是将一个表或索引分解为多个更小、更可管理的部分。就访问数据库而言,从逻辑上讲,只有一个表或索引,但是在物理上这个表或者索引可能由多个物理分区组成。

Mysql数据库支持水平分区,不支持垂直分区。Mysql数据库的分区是局部分区索引。

水平分区指将同一个表不同行的记录分配到不同的物理文件中。

垂直分区值将同一个表不同列的记录分配到不同的物理文件中。

局部分区索引指一个分区中既存放数据有存放索引。

全局分区索引指数据存放在各个分区中,但是所有数据的索引存放在一个对象中。

 

2  分区表的优点

分区表的数据可以分布在不同的物理设备上,从而高效地利用多个硬件设备。

和单个磁盘或者文件系统相比,可以存储更多数据。

优化查询。在where语句中包含分区条件时,可以只扫描一个或多个分区表来提高查询效率;涉及sum和count语句时,也可以在多个分区上并行处理,最后汇总结果。

分区表更容易维护。例如:想批量删除大量数据可以清除整个分区。

可以使用分区表来避免某些特殊的瓶颈。例如InnoDB的单个索引的互斥访问,ext3问价你系统的inode锁竞争等。

 

3  分区表的限制

在5.6.7之前的版本,一个表最多有1024个分区;从5.6.7开始,一个表最多可以有8192个分区。

MySQL5.1中,分区表达式必须是整数,或者返回整数的表达式。在MySQL5.5中提供了非整数表达式分区的支持。

分区表中无法使用外键约束。

 

4   分区注意事项

无论是何种类型的分区,如果表中存在主键或者唯一索引时,分区列必须是唯一索引的一个组成部分。

如果表中没有指定主键或者唯一索引,可以指定任何列作为分区列。

唯一索引允许是Null的,并且分区列只要是唯一索引的一个组成部分即可。

 

 分区类型

1  分区类型

RANGE分区:按照列值的区间范围分区。

LIST分区:与RANGE类似,区别是LIST面向的是离散的值。

HASH分区:根据用户自定义的表达式进行分区,表达式返回值不能是负数。

KEY分区:根据Mysql数据库提供的哈希函数进行分区。

Mysql5.5开始支持RANGE COLUMNS分区和LIST COLUMNS分区;

注意:在MySQL5.1版本中,RANGE,LIST,HASH分区要求分区键必须是INT类型,或者通过表达式返回INT类型。但KEY分区的时候,可以使用其他类型的列(BLOB,TEXT类型除外)作为分区键。

 

2  RANGE分区

以下脚本,是将user表根据age进行分区,p0中的user.age <18,p1中的user.age >=18 and user.age <30,p2中的user.age >=30 and user.age < 60,p3中的user.age >=60。


CREATE TABLE user (
    id INT NOT NULL,
    name VARCHAR(30) not null,
    sex int(11) not null,
    age int(11) not null
)
PARTITION BY RANGE (age) (
    PARTITION p0 VALUES LESS THAN (18),
    PARTITION p1 VALUES LESS THAN (30),
    PARTITION p2 VALUES LESS THAN (60),
    PARTITION p3 VALUES LESS THAN MAXVALUE
);
alter table user add index ix_age(age) ;

3   LIST分区

以下搅拌将user按照性别分区,男性放在male分区中,女性放在female分区中。


CREATE TABLE user (
    id INT NOT NULL,
    name VARCHAR(30) not null,
    sex int(11) not null,
    age int(11) not null
)
PARTITION BY LIST(sex) (
    PARTITION male VALUES IN (1),
    PARTITION female VALUES IN (2)
);

4  HASH分区

以下脚本通过hash(name)%4进行分区.


CREATE TABLE user (
    id INT NOT NULL,
    name VARCHAR(30) not null,
    sex int(11) not null,
    age int(11) not null
)
PARTITION BY HASH(name)
PARTITIONS 4
;


5  KEY分区

KEY分区类似于HASH分区,KEY分区的哈希函数是由MySQL服务器提供。Key分区与Hash分区很相似,只是Hash函数不同,定义时把Hash关键字替换成Key即可。MySQL簇(Cluster)使用函数MD5()来实现KEY分区;


CREATE TABLE user (
    id INT NOT NULL,
    name VARCHAR(30) not null,
    sex int(11) not null,
    age int(11) not null
)
PARTITION BY KEY(name)
PARTITIONS 4
;

6  分区中的NULL值

Mysql分区时,视NULL值比任何非NULL的值都小。

 

 分区与性能

假设表的数据里为1000W,通过主键划分10个分区,在这种情况下我们分析一下分区对性能的影响。

对于SELECT * FROM TABLE WHERE PK=#PK#查询:

假设100w和1000w行的数据构成的B+树都是2层,因为分区前后都是进行2次IO即可找到目标数据,所以分区对性能没有影响。

假设1000w数据的B+树是3层,100w数据的B+树是2层,因为分区前需要3次IO找到目标数据,分区后需要2次IO就可以找到目标数据,可以提升查询性能。

对于SELECT * FROM TABLE WHERE KEY=#KEY#查询:

分区前需要2-3次IO即可找到目标数据;分区之后即便是每个分区进行2次IO就能找到数据,但是因为会遍历10个分区表,所以一共需要20次IO。性能会急剧下降。

 

因为不当的分区方式或查询方式会导致多分区全表扫描,性能急剧降低。如果要分区,查询时务必带上分区字段作为条件,并且尽可能降低每个sql语句扫描的分区数目。

对于OLTP类型的应用而言,查询的场景一般都是多种多样的,所以需要非常谨慎的使用分区。

 

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
存储 关系型数据库 MySQL
【mysql】MySQL 分区快速入门
【mysql】MySQL 分区快速入门
62 0
|
22天前
|
缓存 关系型数据库 MySQL
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
|
2月前
|
存储 关系型数据库 MySQL
MySQL分区的优缺点
数据库中分区是将表或索引的数据划分成更小、更可管理的部分的一种技术。这些部分被称为分区,每个分区可以独立地进行维护和管理。
50 0
|
3月前
|
NoSQL 算法 关系型数据库
redis与mysql的数据一致性问题( 网络分区)
redis与mysql的数据一致性问题( 网络分区)
23 0
|
8月前
|
关系型数据库 MySQL 大数据
MySQL分区与分表:优化性能与提升可扩展性
本文深入探讨了MySQL数据库中的分区与分表策略,通过详细的代码示例,解释了分区的概念与用途、不同的分区类型以及创建分区表的步骤。同时,文章还介绍了分表的概念、策略和实际操作方法,以代码演示展示了如何创建分表、插入数据以及查询数据。分区和分表作为优化数据库性能和提升可扩展性的关键手段,通过本文的阐述,读者将能够深入了解如何根据数据特点选择合适的分区方式,以及如何灵活地处理大量数据,提高查询和维护效率。这些技术将为数据库设计和优化提供有力支持,确保在大数据场景下能够高效地管理和查询数据。
313 0
|
9月前
|
传感器 关系型数据库 MySQL
php语句:MySQL指定分区表跨分区根据时间条件快速查询记录的封装函数
php语句:MySQL指定分区表跨分区根据时间条件快速查询记录的封装函数
98 0
|
9月前
|
关系型数据库 MySQL
Mysql 表分区创建方法
Mysql 表分区创建方法
|
4月前
|
SQL 算法 关系型数据库
mysql集群分区
mysql集群分区
17 0
|
9月前
|
关系型数据库 MySQL PHP
php读取MySQL获取分区名称及属性信息的查询语句
php读取MySQL获取分区名称及属性信息的查询语句
78 0
|
9月前
|
前端开发 关系型数据库 MySQL
Echarts高级进阶教程(5):mysql大数据量分表分区的API接口读取语句
Echarts高级进阶教程(5):mysql大数据量分表分区的API接口读取语句
96 0