《叶问》第3期

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。

2018年6月24日,周日

MySQL 8.0相对于5.7的复制改进,都有哪些呢?

宋利兵老师:《MySQL 8.0相对于5.7的复制改进》的公开课也讨论了这个命题,简单概括主要有两部分

一、普通复制功能改进

1、新增WRITESET并行复制模式,提高并行度,降低延迟
2、在多源复制中,可在线动态修改每个channel的filter rule,并且能在P_S中查看/监控
3、Binary Log中存储更多元数据,并支持毫秒级别的延迟监控
4、对JSON Documents的复制效率更高了
5、支持DDL Crashsafe
6、增加caching_sha2_password安全策略,提高复制安全性

二、MGR功能改进:

1、支持设置节点权重,且权重最大的在线节点将被选举为主
2、每个节点中存储更多的状态信息,如版本、角色等
3、可根据从节点的事务状态,自动化流控
4、离开集群的服务器自动被设置为read only,避免被误操作更新数据
5、可监控MGR的内存使用情况

2018年6月25日,周一

跑truncate table,4亿条数据会不会造成长时间锁表呢?有什么更好的方法吗?

最好是create新表,然后交叉rename对调,再drop/truncate table或其他方式清除数据。

一、可操作步骤:

1、创建新的 tmp 表,正式表与tmp表表名交换(注意在一个SQL里完成,并锁表)
2、对 tmp 表创建硬链接 ln tmp.ibd tmp.ibd.hdlk
3、mysql中删除表tmp(truncate / drop 都行)
4、然后找个业务不繁忙的时间删除数据文件或者用coreutils 的truncate慢慢搞

二、关于truncate table,官档解释:

1、Logically, TRUNCATE TABLE is similar to a DELETE statement that deletes all rows, or a sequence of DROP TABLE and CREATE TABLE statements When a table is truncated, it is dropped and re-created in a new .ibd file, and the freed space is returned to the operating system

2018年6月26日,周二

明明有个索引“感觉”应该被选中,EXPLAIN时在possible_keys也有它,但最后没被选中,可能的原因有哪些?

一、执行计划如下:

1、desc select * from t1 where c2 >= 2;

key: NULL
key_len: NULL
rows: 14
filtered: 92.86
Extra: Using where

二、可能的原因如下:

1、隐式转换
2、表碎片,因为表的碎片率过高
3、根据索引读取到的数据在整个表中的数据占比超过30%
4、统计信息没有及时更新

三、上述执行计划的结果是:

预计扫描的行数为14行,filtered(是指返回结果的行占需要读到的行的百分比)的值为92%。

当前执行计划中filtered值92% 说明根据索引查询获取的结果占整张表的92%,在MySQL中根据索引查询的结果占整张表的数据30%则不会走索,所以不会走索引。
另外,也有可能是表的碎片率过高或隐式转换导致的。

2018年6月27日,周三

主从复制线程均正常(为Yes,也没报错),Master的binlog已到binlog.000100,但slave上看到Master_Log_File却只到binlog.000090,可能的原因有哪些?

首先要注意,这是Master_Log_File IO线程延迟,并不是Relay_Master_Log_File SQL线程延迟。

一、可能的原因如下:

1、由于sync_relay_log值过低,导致Slave频繁刷新relay_log文件,使 Slave的硬盘资源消耗过高,所以导致SlaveIO Thread很慢。
2、Master/Slave压力过大导致Slave IO Thread不能及时响应, 无法及时获得Master的event。
3、网络丢包严重。小包可以连接并且保持连接不断,但是大包就无法发送。可能是Master和Slave关于TCP MTU值设置不一致导致。
4、Master和Slave网络链接已经断开。但slave_net_timeout值等于0(表示完全禁用心跳)或者slave_net_timeout和Slave_heartbeat_period非常大(表示检测主从心跳的时间)。
5、Master的binlog非常大,io线程的file很长时间都在读同一个。

二、总结

本次案例是在主库进行压力测试,在压力测试的过程中,因为Master本身的压力就很大Master来不及把binlog发送给Slave。所以表面上看起来没有延迟,但实际上已经产生了延迟。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
消息中间件
【中秋特辑】嫦娥妹妹,你别着急~
今天为大家带来一个小故事,是关于嫦娥和吴刚的爱情故事,想知道吴刚是怎样将情愫传递给嫦娥的吗?让我们一起一探究竟吧~
175 0
【中秋特辑】嫦娥妹妹,你别着急~
端午特供——小朋友都会写的【狂扁·大粽子】
端午特供——小朋友都会写的【狂扁·大粽子】
75 0
|
消息中间件
【中秋特辑】嫦娥妹妹,你别着急~
今天为大家带来一个小故事,是关于嫦娥和吴刚的爱情故事,想知道吴刚是怎样将情愫传递给嫦娥的吗?让我们一起一探究竟吧~
【中秋特辑】嫦娥妹妹,你别着急~
|
监控 关系型数据库 MySQL
《叶问》第10期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1236 0
|
SQL 关系型数据库 MySQL
《叶问》第9期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1308 0
|
SQL 关系型数据库 MySQL
《叶问》第7期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1260 0
|
存储 关系型数据库 MySQL
《叶问》第8期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1426 0
|
存储 NoSQL 关系型数据库
《叶问》第1期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1866 0
|
SQL 关系型数据库 MySQL
《叶问》第2期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1442 0
|
存储 关系型数据库 MySQL
《叶问》第6期
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。
1145 0