如何更好的优化MySQL数据库

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

1、选取最适用的字段属性

MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快

因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小。


例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要的空间

甚至使用VARCHAR这种类型也是多余的,因为CHAR(6)就可以很好的完成任务了

同样的,如果可以的话,我们应该使用MEDIUMINT而不是BIGIN来定义整型字段


另外一个提高效率的方法是在可能的情况下,应该尽量把字段设置为NOTNULL,这样在将来执行查询的时候,数据库不用去比较NULL值。对于某些文本字段,例如“省份”或者“性别”,我们可以将它们定义为ENUM类型。因为在MySQL中,ENUM类型被当作数值型数据来处理,而数值型数据被处理起来的速度要比文本类型快得多

这样,我们又可以提高数据库的性能。

2、使用连接(JOIN)来代替子查询(Sub-Queries)

MySQL从4.1开始支持SQL的子查询。这个技术可以使用SELECT语句来创建一个单列的查询结果,然后把这个结果作为过滤条件用在另一个查询中。例如,我们要将客户基本信息表中没有任何订单的客户删除掉,就可以利用子查询先从销售信息表中将所有发出订单的客户ID取出来,然后将结果传递给主查询,如下所示:


DELETEFROMcustomerinfo

WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)


使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作,同时也可以避免事务或者表锁死

并且写起来也很容易。但是,有些情况下,子查询可以被更有效率的连接(JOIN)..替代

例如,假设我们要将所有没有订单记录的用户取出来,可以用下面这个查询完成:


SELECT*FROMcustomerinfo

WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)


如果使用连接(JOIN)..来完成这个查询工作,速度将会快很多

尤其是当salesinfo表中对CustomerID建有索引的话,性能将会更好,查询如下:


SELECT*FROMcustomerinfo

LEFTJOINsalesinfoONcustomerinfo.CustomerID=salesinfo.CustomerID

WHEREsalesinfo.CustomerIDISNULL


连接(JOIN)..之所以更有效率一些

是因为MySQL不需要在内存中创建临时表来完成这个逻辑上的需要两个步骤的查询工作。

3、使用联合(UNION)来代替手动创建的临时表

MySQL从4.0的版本开始支持union查询,它可以把需要使用临时表的两条或更多的select查询合并的一个查询中。在客户端的查询会话结束的时候,临时表会被自动删除,从而保证数据库整齐、高效。使用union来创建查询的时候,我们只需要用UNION作为关键字把多个select语句连接起来就可以了,要注意的是所有select语句中的字段数目要想同

下面的例子就演示了一个使用UNION的查询


SELECTName,PhoneFROMclientUNION

SELECTName,BirthDateFROMauthorUNION

SELECTName,SupplierFROMproduct

4、事务

尽管我们可以使用子查询(Sub-Queries)、连接(JOIN)和联合(UNION)来创建各种各样的查询,但不是所有的数据库操作都可以只用一条或少数几条SQL语句就可以完成的。更多的时候是需要用到一系列的语句来完成某种工作。但是在这种情况下,当这个语句块中的某一条语句运行出错的时候,整个语句块的操作就会变得不确定起来。设想一下,要把某个数据同时插入两个相关联的表中,可能会出现这样的情况:第一个表中成功更新后,数据库突然出现意外状况,造成第二个表中的操作没有完成,这样,就会造成数据的不完整,甚至会破坏数据库中的数据。要避免这种情况,就应该使用事务,它的作用是:要么语句块中每条语句都操作成功,要么都失败。换句话说,就是可以保持数据库中数据的一致性和完整性。事物以BEGIN关键字开始,COMMIT关键字结束。在这之间的一条SQL操作失败

那么,ROLLBACK命令就可以把数据库恢复到BEGIN开始之前的状态


BEGIN; INSERTINTOsalesinfoSETCustomerID=14;UPDATEinventorySETQuantity=11WHEREitem='book';COMMIT;

事务的另一个重要作用是当多个用户同时使用相同的数据源时

它可以利用锁定数据库的方法来为用户提供一种安全的访问方式,这样可以保证用户的操作不被其它的用户所干扰。

5、锁定表

尽管事务是维护数据库完整性的一个非常好的方法,但却因为它的独占性,有时会影响数据库的性能,尤其是在很大的应用系统中。由于在事务执行的过程中,数据库将会被锁定,因此其它的用户请求只能暂时等待直到该事务结束。如果一个数据库系统只有少数几个用户来使用,事务造成的影响不会成为一个太大的问题;但假设有成千上万的用户同时访问一个数据库系统,例如访问一个电子商务网站,就会产生比较严重的响应延迟。


其实,有些情况下我们可以通过锁定表的方法来获得更好的性能

下面的例子就用锁定表的方法来完成前面一个例子中事务的功能

LOCKTABLEinventoryWRITESELECTQuantityFROMinventoryWHEREItem='book';

...

UPDATEinventorySETQuantity=11WHEREItem='book';UNLOCKTABLES

这里,我们用一个select语句取出初始数据,通过一些计算,用update语句将新值更新到表中

包含有WRITE关键字的LOCKTABLE语句可以保证在UNLOCKTABLES命令被执行之前

不会有其它的访问来对inventory进行插入、更新或者删除的操作

6、使用外键

锁定表的方法可以维护数据的完整性,但是它却不能保证数据的关联性。这个时候我们就可以使用外键。

例如,外键可以保证每一条销售记录都指向某一个存在的客户

在这里,外键可以把customerinfo表中的CustomerID映射到salesinfo表中CustomerID

任何一条没有合法CustomerID的记录都不会被更新或插入到salesinfo中


CREATETABLEcustomerinfo( CustomerIDINTNOTNULL,PRIMARYKEY(CustomerID))TYPE=INNODB;CREATETABLEsalesinfo( SalesIDINTNOTNULL,CustomerIDINTNOTNULL,

PRIMARYKEY(CustomerID,SalesID),

FOREIGNKEY(CustomerID)REFERENCEScustomerinfo(CustomerID)ONDELETECASCADE)TYPE=INNODB;


注意例子中的参数“ONDELETECASCADE”。该参数保证当customerinfo表中的一条客户记录被删除的时候

salesinfo表中所有与该客户相关的记录也会被自动删除。如果要在MySQL中使用外键

一定要记住在创建表的时候将表的类型定义为事务安全表InnoDB类型

该类型不是MySQL表的默认类型

定义的方法是在CREATETABLE语句中加上TYPE=INNODB

7、使用索引

索引是提高数据库性能的常用方法,它可以令数据库服务器以比没有索引快得多的速度检索特定的行

尤其是在查询语句当中包含有MAX(),MIN()和ORDERBY这些命令的时候,性能提高更为明显。


那该对哪些字段建立索引呢?

一般说来,索引应建立在那些将用于JOIN,WHERE判断和ORDERBY排序的字段上

尽量不要对数据库中某个含有大量重复的值的字段建立索引

对于一个ENUM类型的字段来说,出现大量重复值是很有可能的情况


例如customerinfo中的“province”..字段,在这样的字段上建立索引将不会有什么帮助;相反,还有可能降低数据库的性能。我们在创建表的时候可以同时创建合适的索引,也可以使用ALTERTABLE或CREATEINDEX在以后创建索引。此外,MySQL从版本3.23.23开始支持全文索引和搜索。全文索引在MySQL中是一个FULLTEXT类型索引,但仅能用于MyISAM类型的表。对于一个大的数据库,将数据装载到一个没有FULLTEXT索引的表中,然后再使用ALTERTABLE或CREATEINDEX创建索引,将是非常快的。如果将数据装载到一个已经有FULLTEXT索引的表中,执行过程将会非常慢

8、优化的查询语句

绝大多数情况下,使用索引可以提高查询的速度

但如果SQL语句使用不恰当的话,索引将无法发挥它应有的作用。

下面是应该注意的几个方面。


首先,最好是在相同类型的字段间进行比较的操作

在MySQL3.23版之前,这甚至是一个必须的条件

例如不能将一个建有索引的INT字段和BIGINT字段进行比较,但是作为特殊的情况

在CHAR类型的字段和VARCHAR类型字段的字段大小相同的时候,可以将它们进行比较


其次,在建有索引的字段上尽量不要使用函数进行操作。

例如,在一个DATE类型的字段上使用YEAE()函数时,将会使索引不能发挥应有的作用

所以,下面的两个查询虽然返回的结果一样,但后者要比前者快得多。


第三,在搜索字符型字段时,我们有时会使用LIKE关键字和通配符

这种做法虽然简单,但却也是以牺牲系统性能为代价的


例如下面的查询将会比较表中的每一条记录。

SELECT*FROMbooks

WHEREnamelike"MySQL%"


但是如果换用下面的查询,返回的结果一样,但速度就要快上很多:

SELECT*FROMbooks

WHEREname>="MySQL"andname<"MySQM"


最后,应该注意避免在查询中让MySQL进行自动类型转换,因为转换过程也会使索引变得不起作用。


1. 优化你的MySQL查询缓存


在MySQL服务器上进行查询,可以启用高速查询缓存。让数据库引擎在后台悄悄的处理是提高性能的最有效方法之一

当同一个查询被执行多次时,如果结果是从缓存中提取,那是相当快的。但主要的问题是,它是那么容易被隐藏起来

以至于我们大多数程序员会忽略它。在有些处理任务中,我们实际上是可以阻止查询缓存工作的


1. // query cache does NOT work
2. r=mysqlquery("SELECTusernameFROMuserWHEREsignupdate>=CURDATE()");3.4.//querycacheworks!5.today = date("Y-m-d");
6. r=mysqlquery("SELECTusernameFROMuserWHEREsignupdate>=today'");
7.
8. // query cache does NOT work
9. r=mysqlquery("SELECTusernameFROMuserWHEREsignupdate>=CURDATE()");10.11.//querycacheworks!12.today = date("Y-m-d");
13. r=mysqlquery("SELECTusernameFROMuserWHEREsignupdate>=today'");


2. 用EXPLAIN使你的SELECT查询更加清晰


使用EXPLAIN关键字是另一个MySQL优化技巧,可以让你了解MySQL正在进行什么样的查询操作

这可以帮助你发现瓶颈的所在,并显示出查询或表结构在哪里出了问题。
EXPLAIN查询的结果,可以告诉你那些索引正在被引用,表是如何被扫描和排序的等等。
实现一个SELECT查询(最好是比较复杂的一个,带joins方式的),在里面添加上你的关键词解释

在这里我们可以使用phpMyAdmin,他会告诉你表中的结果。举例来说,假如当我在执行joins时

正忘记往一个索引中添加列,EXPLAIN能帮助我找到问题的所在

添加索引到group_id field后


wKiom1lLJzig-ch8AAO6fRAFGNE404.png-wh_50


3. 利用LIMIT 1取得唯一行


有时,当你要查询一张表是,你知道自己只需要看一行。你可能会去的一条十分独特的记录

或者只是刚好检查了任何存在的记录数,他们都满足了你的WHERE子句。
在这种情况下,增加一个LIMIT 1会令你的查询更加有效

这样数据库引擎发现只有1后将停止扫描,而不是去扫描整个表或索引。


1. // do I have any users from Alabama? 
2. // what NOT to do: 
3. r=mysqlquery("SELECTFROMuserWHEREstate=Alabama");4.if(mysqlnumrows(r) > 0) { 
5. // ... 
6. } 
7. // much better: 
8. r=mysqlquery("SELECT1FROMuserWHEREstate=AlabamaLIMIT1");9.if(mysqlnumrows(r) > 0) { 
10. // ... 
11. } 


4. 索引中的检索字段


索引不仅是主键或唯一键。如果你想搜索表中的任何列,你应该一直指向索引

wKioL1lLJ32Sm8IeAAEFxacwfsk316.png-wh_50


5. 保证连接的索引是相同的类型


如果应用程序中包含多个连接查询,你需要确保你链接的列在两边的表上都被索引

这会影响MySQL如何优化内部联接操作。此外,加入的列,必须是同一类型

例如,你加入一个DECIMAL列,而同时加入另一个表中的int列

MySQL将无法使用其中至少一个指标。即使字符编码必须同为字符串类型。


1. // looking for companies in my state 
2. r=mysqlquery("SELECTcompanynameFROMusers3.LEFTJOINcompaniesON(users.state=companies.state)4.WHEREusers.id=user_id"); 
5. 
6. // both state columns should be indexed 
7. // and they both should be the same type and character encoding 
8. // or MySQL might do full table scans


6. 不要使用BY RAND()命令


这是一个令很多新手程序员会掉进去的陷阱。你可能不知不觉中制造了一个可怕的平静

这个陷阱在你是用BY RAND()命令时就开始创建了。
如果您真的需要随机显示你的结果,有很多更好的途径去实现

诚然这需要写更多的代码,但是能避免性能瓶颈的出现

问题在于,MySQL可能会为表中每一个独立的行执行BY RAND()命令

(这会消耗处理器的处理能力),然后给你仅仅返回一行。


1. // what NOT to do: 
2. r=mysqlquery("SELECTusernameFROMuserORDERBYRAND()LIMIT1");3.//muchbetter:4.r = mysql_query("SELECT count(*) FROM user"); 
5. d=mysqlfetchrow(r); 
6. rand=mtrand(0,d[0] - 1); 
7. 
8. r=mysqlquery("SELECTusernameFROMuserLIMITrand, 1"); 


7. 尽量避免SELECT *命令


从表中读取越多的数据,查询会变得更慢。他增加了磁盘需要操作的时间

还是在数据库服务器与WEB服务器是独立分开的情况下

你将会经历非常漫长的网络延迟,仅仅是因为数据不必要的在服务器之间传输。
始终指定你需要的列,这是一个非常良好的习惯。


1. // not preferred 
2. r=mysqlquery("SELECTFROMuserWHEREuserid=1");3.d = mysql_fetch_assoc(r);4.echo"Welcome$d[username]";5.//better:6.r = mysql_query("SELECT username FROM user WHERE user_id = 1"); 
7. d=mysqlfetchassoc(r); 
8. echo "Welcome {$d['username']}"; 
9. // the differences are more significant with bigger result sets 


8. 从PROCEDURE ANALYSE()中获得建议


PROCEDURE ANALYSE()可让MySQL的柱结构分析和表中的实际数据来给你一些建议

如果你的表中已经存在实际数据了,能为你的重大决策服务。
wKioL1lLJ8LCpO93AAE6cjk9SBQ566.png-wh_50


9. 准备好的语句


准备好的语句,可以从性能优化和安全两方面对大家有所帮助。
准备好的语句在过滤已经绑定的变量默认情况下,能给应用程序以有效的保护,防止SQL注入攻击

当然你也可以手动过滤,不过由于大多数程序员健忘的性格,很难达到效果。


1. // create a prepared statement 
2. if (stmt=mysqli->prepare("SELECT username FROM user WHERE state=?")) { 
3. // bind parameters 
4. stmt>bindparam("s",state); 
5. // execute 
6. stmt>execute();7.//bindresultvariables8.stmt->bind_result(username);9.//fetchvalue10.stmt->fetch(); 
11. printf("%s is from %s\n", username,state); 
12. $stmt->close(); 
13. } 


10. 将IP地址存储为无符号整型


许多程序员在创建一个VARCHAR(15)时并没有意识到他们可以将IP地址以整数形式来存储

当你有一个INT类型时,你只占用4个字节的空间,这是一个固定大小的领域。


你必须确定你所操作的列是一个UNSIGNED INT类型的,因为IP地址将使用32位unsigned integer

r="UPDATEusersSETip=INETATON($SERVER[REMOTEADDR])WHEREuserid=user_id"; 


本文转自 2012hjtwyf 51CTO博客,原文链接:http://blog.51cto.com/hujiangtao/1940758,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
265
分享
相关文章
MySQL原理简介—6.简单的生产优化案例
本文介绍了数据库和存储系统的几个主题: 1. **MySQL日志的顺序写和数据文件的随机读指标**:解释了磁盘随机读和顺序写的原理及对数据库性能的影响。 2. **Linux存储系统软件层原理及IO调度优化原理**:解析了Linux存储系统的分层架构,包括VFS、Page Cache、IO调度等,并推荐使用deadline算法优化IO调度。 3. **数据库服务器使用的RAID存储架构**:介绍了RAID技术的基本概念及其如何通过多磁盘阵列提高存储容量和数据冗余性。 4. **数据库Too many connections故障定位**:分析了MySQL连接数限制问题的原因及解决方法。
MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?
在日常研发工作当中,系统性能优化,从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化,除了DBA在集群性能、服务器调优需要投入精力,我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后,SQL执行效率可能就会出现瓶颈,影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能,在工作中解决SQL性能问题显得非常关键。
MySQL底层概述—8.JOIN排序索引优化
本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。
MySQL底层概述—8.JOIN排序索引优化
MySQL底层概述—7.优化原则及慢查询
本文主要介绍了:Explain概述、Explain详解、索引优化数据准备、索引优化原则详解、慢查询设置与测试、慢查询SQL优化思路
112 15
MySQL底层概述—7.优化原则及慢查询
MySQL底层概述—5.InnoDB参数优化
本文介绍了MySQL数据库中与内存、日志和IO线程相关的参数优化,旨在提升数据库性能。主要内容包括: 1. 内存相关参数优化:缓冲池内存大小配置、配置多个Buffer Pool实例、Chunk大小配置、InnoDB缓存性能评估、Page管理相关参数、Change Buffer相关参数优化。 2. 日志相关参数优化:日志缓冲区配置、日志文件参数优化。 3. IO线程相关参数优化: 查询缓存参数、脏页刷盘参数、LRU链表参数、脏页刷盘相关参数。
MySQL底层概述—5.InnoDB参数优化
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
35 9
云数据库实战:基于阿里云RDS的Python应用开发与优化
在互联网时代,数据驱动的应用已成为企业竞争力的核心。阿里云RDS为开发者提供稳定高效的数据库托管服务,支持多种数据库引擎,具备自动化管理、高可用性和弹性扩展等优势。本文通过Python应用案例,从零开始搭建基于阿里云RDS的数据库应用,详细演示连接、CRUD操作及性能优化与安全管理实践,帮助读者快速上手并提升应用性能。
MySQL和SQLSugar百万条数据查询分页优化
在面对百万条数据的查询时,优化MySQL和SQLSugar的分页性能是非常重要的。通过合理使用索引、调整查询语句、使用缓存以及采用高效的分页策略,可以显著提高查询效率。本文介绍的技巧和方法,可以为开发人员在数据处理和查询优化中提供有效的指导,提升系统的性能和用户体验。掌握这些技巧后,您可以在处理海量数据时更加游刃有余。
79 9
从MySQL优化到脑力健康:技术人与效率的双重提升
聊到效率这个事,大家应该都挺有感触的吧。 不管是技术优化还是个人状态调整,怎么能更快、更省力地完成事情,都是我们每天要琢磨的事。
66 23
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时,可通过调整参数优化。控制刷盘时机以降低频率:组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量;`sync_binlog=N` 设置 write 和 fsync 频率,`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件,由 OS 择机持久化,但两者在 OS 崩溃时有丢失数据风险。
38 3
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等