Mysql 日志管理(学习笔记九)

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: mysql日志——记录着mysql数据库运行期间的操作和信息日志作用(1)当数据库遭到意外损害,可以通过日志文件来查询出错原因(2)利用日志文件进行数据恢复日志分类(1)二进制日志:以二进制文件的形式记录了数据库中的操作,但是不记录查询语句...

mysql日志——记录着mysql数据库运行期间的操作和信息

日志作用

(1)当数据库遭到意外损害,可以通过日志文件来查询出错原因

(2)利用日志文件进行数据恢复

日志分类

(1)二进制日志:以二进制文件的形式记录了数据库中的操作,但是不记录查询语句

(2)错误日志:记录Mysql服务器的启动、关闭和运行错误等信息

(3)慢查询日志:记录执行时间超过指定时间的操作

(4)通用查询日志:记录用户的所有操作,包括启动和关闭MySQL服务、更新语句、查询语句等

日志设置

(1)除了二进制日志,其他都是文本文件

(2)日志文件通常存储在Mysql数据目录下

(3)默认只启动了错误日志功能,其他需要手工启动

(4)但启动日志功能会降低Mysql的执行速度,因为一条操作写进日志中是要花时间的


二进制日志

(1) 以二进制文件的形式记录了数据库中的操作,但是不记录查询语句

(2) 也叫变更日志(update log),主要用于记录数据库的变化

(3) 启动与设置二进制日志:在Mysql的配置文件中,log-bin=DIR/filename

DIR是存放二进制日志的目录;

每启动一次Mysql,该目录下就会生成一个filename.00000x的文件;

目录下还有一个filename.index的文件,用于存储所有二进制文件清单;

如果我们没有设置DIR和filename,则默认在数据目录下以hostname-bin.00000x命名

# cat /etc/my.cnf|egrep "log-bin"

log-bin = /data/mysqldb/binlog/mysql-bin

# ls /data/mysqldb/binlog/

mysql-bin.000001 mysql-bin.000003 mysql-bin.000005 mysql-bin.000007 mysql-bin.index

mysql-bin.000002 mysql-bin.000004 mysql-bin.000006 mysql-bin.000008

(4)临时停止与启动二进制日志

-> set sql_log_bin=0; 停止-> set sql_log_bin=1; 启动

(5)注意:二进制日志文件与数据库数据文件最好不要放在同一块硬盘上,如果存放数据文件的硬盘坏了,可以用另一块硬盘的二进制日志来恢复数据

(6)查看二进制日志:

# mysqlbinlog mysql-bin.000001

(7)删除二进制日志:

//删除所有->reset master;//删除00004之前的所有->purge master logs to'mysql-bin.000004';//删除指定日期时间之前的所有->purge master logs to'2016-08-10 15:00:00';

(8)使用二进制日志还原数据库

# mysqlbinlog mysql-bin.000001 | mysql -u root -p

# mysqlbinlog mysql-bin.000002 |mysql -u root -p

这条命令可以理解为:使用mysqlbinlog读取二进制日志文件然后使用mysql命令还原到数据库中

注意还原时必须是编号小的先还原

(9)使用二进制日志文件的pos号|时间点恢复

//先执行3条操作-> create database 2test-> create database alvin-> drop database 2test//查看二进制日志,观察每一个命令的起始/结束pos号,和起始/结束时间# mysqlbinlog mysql-bin.000001# at 120#160813 15:13:53serverid 706end_log_pos 217CRC32 0x781f816eQuery    thread_id=21exec_time=0 error_code=0SET TIMESTAMP=1471072433/*!*/;

SET @@session.pseudo_thread_id=21/*!*/;

SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;

SET @@session.sql_mode=1075838976/*!*/;

SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;

/*!\C utf8 *//*!*/;

SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;SET @@session.lc_time_names=0/*!*/;SET @@session.collation_database=DEFAULT/*!*/;create database 2test/*!*/;# at 217#160813 15:14:11serverid 706end_log_pos 314 CRC32 0x0fde9820Query    thread_id=21exec_time=0error_code=0SET TIMESTAMP=1471072451/*!*/;create database alvin/*!*/;//想回到什么哪条命令时的状态,可以指定起始/结束pos号恢复# mysqlbinlog --start-position="120" --stop-position="217" mysql-bin.000001 |mysql -u root -p

//日志也会记录下这条恢复语句,我们可以看到这条命令的时间和原来那条一模一样

# mysqlbinlog mysql-bin.000001# at 401#160813 15:13:53server id 706 end_log_pos 498 CRC32 0x3a899ca5 Query    thread_id=21    exec_time=619    error_code=0SET TIMESTAMP=1471072433/*!*/;create database 2test/*!*/;

//同理也可以用时间点来恢复

# mysqlbinlog –start-datetime=”2016-08-13 15:13:53” –stop-datetime=”2016-08-13 15:14:11” mysql-bin.000001 | mysql –uroot –p


错误日志

(1)主要用于记录Mysql服务的开启、关闭和错误信息,若服务启动不成功第一件事应该就是去看这个错误日志

(2)错误日志是默认开启的,且错误日志无法被关闭

(3)设置错误日志:在配置文件中,log-error=DIR/filename

# cat /etc/my.cnf |egrep "log-error"

log-error = /data/mysqldb/log/mysql-error.log

# ls /data/mysqldb/log

mysql-error.log

(4)删除错误日志

mysqladmin -u root -p flush-logs

# ls

mysql-error.log mysql-slow_query.log


通用查询日志

(1)用来记录用户的所有操作:启动和关闭mysql、更新语句、查询语句

(2)启用和设置通用查询日志:配置文件中,log=DIR/filename

(3)删除通用查询日志:

# mysqladmin -u root -p flush-logs

或# echo >access.log


慢查询日志

(1)记录执行时间超过指定时间的执行语句

(2)启动和设置慢查询日志:在配置文件中

log-slow-queries=DIR/filename

long_query_time=n//设置时间为n秒,默认为10s

(3)删除慢查询日志:

# mysqladmin -u root -p flush-logs



MySQL日志类型

a 错误日志(Error Log)

日志文件名称:用--log-error[=file_name]选项来指定mysql保存错误日志文件的位置,如果没有指定file_name,mysql使用默认的错误日志名host_name.err;

img_c0fa8e2e0212b65bdf8df021a75919c0.gif

日志文件路径:默认情况下,日志文件都保存在mysql的数据目录中。如果执行FLUSH LOGS,错误日志用-old重新命名后缀,并且mysql创建一个新的空日志文件。(如果未给出-log-error选项,则不会重新命名)。

img_e50650d25eb9af821d0b8b5136d6c2af.gif

日志其他说明:如果不指定--log-error,或者(Windows)使用--console选项,错误被写入标准错误输出stderr。通常标准输出为终端。

b 查询日志(Query Log)

日志文件名称:(老版本方法)--log=[file_name]-l[file_name]选项进行启用。如果未指定file_name,默认名称为host_name.log

/etc/my.cnf[mysqld]下面添加log=/var/lib/mysql/Dragonwake.log重启后

#servicemysql restart

img_2004ae016d633c32cf3c4b4b45fc6d0a.gif

查看错误日志:

img_a448978651d9f41c3d273dccb0ae7400.gif

正确的配置方法,在/etc/my.cnf[mysqld]下面添加下如内容

# 查询日志

general_log=ON

general_log_file=/var/lib/mysql/Dragonwake.log

重启mysql

img_b86fc0436de7d4c84a07529d7f808081.gif

生成的查询日志文件Dragonwake.log

img_3e4a8c051745a4a46a6493605136d2d3.gif

查询日志内容:

#tail -f /var/lib/mysql/Dragonwake.log

img_6d872110ddcab5669ce29f4a153656ce.gif

c 慢查询日志(Slow Query Log)

日志配置:--log-slow-queries[=file_name]选项启动时,mysql写一个包含了所有执行超过了long_query_time秒的SQL语句的日志。如果未指定file_name,默认为host_name-slow.err。如果给出了文件名,但不是绝对路径,文件则写入默认的数据目录。

/etc/my.cnf[mysqld]下面添加

# 执行超过1秒的sql会被log下来

long_query_time=1

# 将查询执行时间较慢的语句进行记录

log-slow-queries=/var/lib/mysql/Dragonwake-slow.log

重启mysql服务后,出现如下错误,

img_6cfc9e0d82e8e9d85d57fa3bccc273db.gif

正确日志配置:mysql5.6版本以上,取消了参数log-slow-queries,更改为slow-query-log-file,同时必须设置slow_query_log=on

# 慢查询日志

# 执行超过1秒的sql会被log下来

long_query_time=1

# 开启慢查询

slow_query_log=on

# 慢查询日志路径

slow-query-log-file=/var/lib/mysql/Dragonwake-slow.log

重启MySQL

img_885d55b92428ded51b17c5b25092d78c.gif

输出慢查询日志Dragonwake-slow.log

img_e9278b9d2d4854561c2e8727f63f4bd7.gif

慢查询日志内容

img_d78ebbdec3fd1db78fc1083bd03d17d5.gif

d 更新日志(Update Log)

日志配置:用--log-update[=file_name]选项(不建议使用)

/etc/my.cnf[mysqld]下面添加,

# 更新查询

log-update=/var/lib/mysql/Dragonwake-update.log

出现如下错误:

img_a22fd408b1dbde4c12a075d51c7bc173.gif

暂未找到解决办法

e 二进制日志(Binary Log & Binary Log Index)

日志设置:用--log-bin[=file_name]选项

/etc/my.cnf[mysqld]下面添加,

# 二进制查询

log-bin=/var/lib/mysql/Dragonwake-bin.log

重启MySQL

img_19adcb592a94d5cce0d099842f6a1005.gif

输出二进制日志

img_b1d7735f17ef57dea35d29675759ea2b.gif

查看二进制日志内容

#tail -f /var/lib/mysql/Dragonwake-bin.000001

img_5b0c4bae451befb54627d2bb8cc9487c.gif

f)mysql日志查询

mysql> show variables like'log_%';

h)mysql当前日志

mysql> show master status;

img_4b1539aa6d431806d989fc2313d162bd.gif

i)mysql二进制日志数目

mysql> show master logs;

img_192c7020f4939b1c34ef3e6d891815c0.gif
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
24天前
|
监控 关系型数据库 MySQL
《MySQL 简易速速上手小册》第7章:MySQL监控和日志分析(2024 最新版)
《MySQL 简易速速上手小册》第7章:MySQL监控和日志分析(2024 最新版)
42 3
|
7天前
|
关系型数据库 MySQL 数据管理
MySQL通过 bin-log 恢复从备份点到灾难点之间数据
MySQL通过 bin-log 恢复从备份点到灾难点之间数据
|
13天前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之在DataWorks中,如何通过PolarDB for MySQL来查看binlog日志
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 1
|
13天前
|
SQL 监控 关系型数据库
【MySQL学习】MySQL的慢查询日志和错误日志
【MySQL学习】MySQL的慢查询日志和错误日志
|
19天前
|
SQL 存储 关系型数据库
MySQL慢日志的介绍以及如何使用问题
MySQL慢日志的介绍以及如何使用问题
19 0
|
1月前
|
存储 SQL 关系型数据库
mysql数据库日志
mysql数据库日志
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
13 1
|
3天前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误(errno: 39)
docker MySQL删除数据库时的错误(errno: 39)
10 0
|
1天前
|
关系型数据库 MySQL 数据库
mysql 设置环境变量与未设置环境变量连接数据库的区别
设置与未设置MySQL环境变量在连接数据库时主要区别在于命令输入方式和系统便捷性。设置环境变量后,可直接使用`mysql -u 用户名 -p`命令连接,而无需指定完整路径,提升便利性和灵活性。未设置时,需输入完整路径如`C:\Program Files\MySQL\...`,操作繁琐且易错。为提高效率和减少错误,推荐安装后设置环境变量。[查看视频讲解](https://www.bilibili.com/video/BV1vH4y137HC/)。
17 3
mysql 设置环境变量与未设置环境变量连接数据库的区别
|
3天前
|
关系型数据库 MySQL 数据库连接
用Navicat备份Mysql演示系统数据库的时候出:Too Many Connections
用Navicat备份Mysql演示系统数据库的时候出:Too Many Connections