干货 | 解读MySQL 8.0新特性:网络模块优化

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 本文主要描述MySQL 8.0在网络模块的几个小优化, 由于本人对server层代码不熟悉,所以只是列出自己的理解和相关的patch以及worklog,不做深入详细实现的解释,感兴趣的可自行从连接中找到对应的代码。

640.gif

作者:阿里云数据库产品事业部

高级技术专家 印风


导读:

本文主要描述MySQL 8.0在网络模块的几个小优化, 由于本人对server层代码不熟悉,所以只是列出自己的理解和相关的patch以及worklog,不做深入详细实现的解释,感兴趣的可自行从连接中找到对应的代码。

Admin Port

运维大并发负载数据库的同学经常会碰到的情况是,max_connection被占满,甚至root账户都无法登陆上去,kill掉这些链接来让实例恢复正常。

Alibaba RDS MySQL的做法是把connection的个数拆分成不同的使用目的,例如系统维护账户占用一部分,用户账户占用一部分,两者不互相影响。

另外一种方式是比较高危的,通过gdb的方式直接进入进程去修改max_connection的值,但注意符号表要编译到mysqld里面,不然无法识别。

此外在mariadb/percona server的线程池实现里,也引入了extra port,当线程池用满无法登陆时,可以使用extra port来连上实例。

在MySQL 8.0里,则引入了admin port的概念,顾名思义,就是单独开一个端口给管理员用,该特性从8.0.14开始引入。可以说这是个对运维非常有用,关键时候可以救命的特性。这个feature由facebook贡献给上游

主要包含几个配置参数:

  • admin_address: 用于指定管理员发起tcp连接的主机地址,可以是ipv4,ipv6, 或者Host name等等,他类似bind-address,但不同的是只能接受一个ip地址
  • admin_port: 顾名思义,就是管理员用来连接的端口号,注意如果admin_address没有设置的话,这个端口号是无效的
  • create_admin_listener_thread: 是否创建一个单独的listener线程来监听admin的链接请求,默认值是关闭的,facebook的建议是打开,否则其会使用已有的监听线程去监听admin连接。该参数同样需要admin_address打开, 否则没有任何影响

注意必须要有权限SERVICE_CONNECTION_ADMIN(https://dev.mysql.com/doc/mysql-security-excerpt/8.0/en/privileges-provided.html)才能登陆该端口,否则会报错

根据文档描述2(https://dev.mysql.com/doc/refman/8.0/en/client-connections.html),admin port的连接个数不受max_connection或者Max_user_connection的限制。

参考文档

官方文档:

https://dev.mysql.com/doc/refman/8.0/en/privileges-provided.html

Administrative Connection Management:

https://dev.mysql.com/doc/refman/8.0/en/client-connections.html

WL#12138: Add Admin Port:

https://dev.mysql.com/worklog/task/?spm=a2c4e.11153940.blogcont700077.19.62b94216LfYbta&id=12138

相关代码:

https://github.com/zhaiwx1987/mysql-server/commit/56b48f3f75dbeb0584b96e9b7049b5d576852e95?spm=a2c4e.11153940.blogcont700077.20.62b94216LfYbta

Multiple addresses for the--bind-address

通常在大规模允许的实例上我们不会去设置bind-address, 但在特定场景下还是有用的。从MySQL8.0.13开始,可以通过bind-address设置多个网络地址,对应release note:

To enable the server to listen on a set of addresses, the bind_address system variable now permits a list of comma-separated IP addresses or host names, not just a single address or name. For details, see Server System Variables.

也就是说如果你想通过bind-address绑定多个地址,需要使用8.0.13及之后的版本, 当然在之前的版本你也可以指定为使用 * 来匹配多个地址。

可以混合指定Ipv4和ipv6的地址,例如:

bind_address=198.51.100.20,2001:db8:0:f101::1

参考文档

bind address参数说明

https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html?spm=a2c4e.11153940.blogcont700077.21.62b94216LfYbta#sysvar_bind_address

WL#11652: Support multiple addresses for the --bind-address command option:

https://dev.mysql.com/worklog/task/?spm=a2c4e.11153940.blogcont700077.22.62b94216LfYbta&id=11652

相关代码:

https://github.com/zhaiwx1987/mysql-server/commit/b72b101aa9435c637e1aa6e29417f03b937bf296?spm=a2c4e.11153940.blogcont700077.23.62b94216LfYbta

Performance for connect/disconnect

这是一个性能优化,尤其是针对频繁断开链接的短连接。这是因为MySQL里是使用一个全局大锁来保护LOCK_thd_list和LOCK_thd_remove来保护链接链表的。

优化的思路其实很简单直接:就是分区。所有的包括锁,链接链表,COND_thd_list都被分成8个分区(hardcode, 无法配置)来减少冲突, 根据thread id来分区。唯一的负面影响就是出于监控目的,可能performance schema需要获取全部分区来获得线程信息,但通常这是可以容忍的。

参考文档

WL#9250: Split LOCK_thd_list and LOCK_thd_remove mutexes:

https://dev.mysql.com/worklog/task/?spm=a2c4e.11153940.blogcont700077.24.62b94216LfYbta&id=9250

相关代码:

https://github.com/zhaiwx1987/mysql-server/commit/58187639671bf5266bd755dc84d2649b7296d664?spm=a2c4e.11153940.blogcont700077.25.62b94216LfYbta

Remove metadata from resultset

这是个老话题了,我们知道在mysql返回的结果集了除了用户的数据外,还包含了库,表名,列名,甚至表列的别名等信息,这些信息占据了返回值的很大一部分网络包开销,特别的,当你需要是点查询时,可能你的返回包的元数据要远远大于你需要的数据,而多数情况下,你并不需要这些元数据

例如当你返回n个列时,元数据包含:

- column count (n);
- n * column definitions

而每个column definition包含:

- catalog
- schema
- table alias
- table
- column alias
- column name
etc.

8.0版本里,你可以选择的移除resultset的metadata,通过参数resultset_metadata来控制,不过当我登陆终端,想设置这个参数时 却报错:

root@(none) 10:15:27>set session resultset_metadata = 'none';
ERROR 3640 (HY000): The client doesn't support optional metadata transfer

这是因为标准客户端的连接没有打开选项CLIENT_OPTIONAL_RESULTSET_METADATA,如果您使用C API,可以通在调用mysql_real_connect时把该flag设置到参数client_flag中,这样你就可以可选的设置这个session级别参数来关闭metadata了.

实际上在大概2012年左右,twitter mysql也做过类似的尝试,我在14年也做过类似的尝试,当时的测试结果如下:

After porting twitter’s patch ( Great thanks to Davi Arnaut) to MySQL5.6.16, I slightly changed it to make protocol_mode support more options:

0/METADATA_FULL: return all metadata, default value.
1/METADATA_REAL_COLUMN: only column name;
2/METADATA_FAKE_COLUMN: fake column name ,use 1,2...N instead of real column name
3/METADATA_NULL_COLUMN: use NULL to express the metadata information
4/METADATA_IGNORE: ignore metadata information, just for test..

CREATE TABLE `test_meta_impact` (
`abcdefg1` int(11) NOT NULL AUTO_INCREMENT,
`abcdefg2` int(11) DEFAULT NULL,
`abcdefg3` int(11) DEFAULT NULL,
`abcdefg4` int(11) DEFAULT NULL,
……
……
`abcdefg40` int(11) DEFAULT NULL,
PRIMARY KEY (`abcdefg1`)
) ENGINE=InnoDB AUTO_INCREMENT=229361 DEFAULT CHARSET=utf8

mysqlslap --no-defaults -uxx --create-schema=test -h$host -P $port --number-of-queries=1000000000 --concurrency=100 --query='SELECT * FROM test.test_meta_impact where abcdefg1 = 2'

METADATA_FULL : 3.48w TPS, Net send 113M
METADATA_REAL_COLUMN: 7.2W TPS, Net send 111M
METADATA_FAKE_COLUMN: 9.2W TPS , Net send 116M
METADATA_NULL_COLUMN: 9.6w TPS , Net send 115M
METADATA_IGNORE: 13.8w TPS, Net send 30M

可以看到去掉元数据后,不但网络传输少了至少三倍多, tps也上升了不少.

参考文档

WL#8134: Make metadata information transfer optional:

https://dev.mysql.com/worklog/task/?spm=a2c4e.11153940.blogcont700077.26.62b94216LfYbta&id=8134

resultset_metadata:

https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html?spm=a2c4e.11153940.blogcont700077.27.62b94216LfYbta#sysvar_resultset_metadata

CAPI

https://dev.mysql.com/doc/refman/8.0/en/c-api-optional-metadata.html

相关代码
https://github.com/zhaiwx1987/mysql-server/commit/3f4ac020306ed5000d3cf8c908efa9786097d42d?spm=a2c4e.11153940.blogcont700077.29.62b94216LfYbta

异步query

从最新的8.0.16版本开始,新的C API开始支持异步的无阻塞的提交查询,相关的API包括:

mysql_real_connect_nonblocking()

mysql_real_query_nonblocking()

mysql_store_result_nonblocking()

mysql_next_result_nonblocking()

mysql_fetch_row_nonblocking()

mysql_free_result_nonblocking()

函数的名字就是原有阻塞性api加上后缀_nonblocking,比如说如果query的执行时间比较长,你可以先去干别的事情,然后再回来查询结果集。当然啦你必须要使用8.0.16或之后的client api

参考文档

WL#11381:

Add asynchronous support into the mysql protocol:

https://dev.mysql.com/worklog/task/?spm=a2c4e.11153940.blogcont700077.30.62b94216LfYbta&id=11381

C API Asynchronous Interface:

https://dev.mysql.com/doc/refman/8.0/en/c-api-asynchronous-interface.html

相关代码:

https://github.com/mysql/mysql-server/commit/c1fffc3c651f22451154c9834a43c661112b368c?spm=a2c4e.11153940.blogcont700077.32.62b94216LfYbta

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
数据库 Android开发 开发者
构建高效Android应用:采用Kotlin协程优化网络请求处理
【2月更文挑战第30天】 在移动应用开发领域,网络请求的处理是影响用户体验的关键环节。针对Android平台,利用Kotlin协程能够极大提升异步任务处理的效率和简洁性。本文将探讨如何通过Kotlin协程优化Android应用中的网络请求处理流程,包括协程的基本概念、网络请求的异步执行以及错误处理等方面,旨在帮助开发者构建更加流畅和响应迅速的Android应用。
|
2天前
|
移动开发 Java Android开发
构建高效Android应用:采用Kotlin协程优化网络请求
【4月更文挑战第24天】 在移动开发领域,尤其是对于Android平台而言,网络请求是一个不可或缺的功能。然而,随着用户对应用响应速度和稳定性要求的不断提高,传统的异步处理方式如回调地狱和RxJava已逐渐显示出局限性。本文将探讨如何利用Kotlin协程来简化异步代码,提升网络请求的效率和可读性。我们将深入分析协程的原理,并通过一个实际案例展示如何在Android应用中集成和优化网络请求。
|
2天前
|
安全 JavaScript 前端开发
第十六届山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题—B模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一次网络安全演练,包括七个部分:Linux渗透提权、内存取证、页面信息发现、数字取证调查、网络安全应急响应、Python代码分析和逆向分析。参与者需在模拟环境中收集Flag值,涉及任务如获取服务器信息、提权、解析内存片段、分析网络数据包、处理代码漏洞、解码逆向操作等。每个部分都列出了若干具体任务,要求提取或生成特定信息作为Flag提交。
5 0
|
2天前
|
安全 测试技术 Linux
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-A模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一个网络安全挑战,涉及Windows和Linux系统的渗透测试以及隐藏信息探索和内存取证。挑战包括使用Kali Linux对Windows Server进行服务扫描、DNS信息提取、密码获取、文件名和内容查找等。对于Linux系统,任务包括收集服务器信息、提权并查找特定文件内容和密码。此外,还有对Server2007网站的多步骤渗透,寻找登录界面和页面中的隐藏FLAG。最后,需要通过FTP获取win20230306服务器的内存片段,从中提取密码、地址、主机名、挖矿程序信息和浏览器搜索关键词。
3 0
|
2天前
|
安全 测试技术 网络安全
2024年甘肃省职业院校技能大赛中职组 “网络安全”赛项竞赛样题-C模块安全事件响应/网络安全数据取证/应用安全
涉及安全事件响应和应用安全测试。需使用Kali对Windows Server2105进行渗透测试,包括服务扫描、DNS信息提取、管理员密码、文件名与内容、图片中单词等。另外,需收集win20230305的服务器端口、页面信息、脚本、登录后信息等。在Linux Server2214上,要获取SSH端口、主机名、内核版本并进行提权操作。网络安全响应针对Server2228,涉及删除后门用户、查找SSH后门时间、恢复环境变量、识别篡改文件格式和矿池钱包地址。最后,对lin20230509进行网站渗透,获取端口号、数据库服务版本、脚本创建时间、页面路径、内核版本和root目录下的flag文件内容
5 0
|
2天前
|
SQL 安全 测试技术
2021年职业院校技能大赛“网络安全”项目 江西省比赛任务书—B模块
B模块涵盖安全事件响应和网络数据取证,涉及多项应用安全挑战。任务包括使用nmap扫描靶机、弱口令登录、生成反弹木马、权限验证、系统内核版本检查、漏洞源码利用、文件名和内容提取等。此外,还有Linux渗透测试,要求访问特定目录下的文件并提取内容。应用服务漏洞扫描涉及服务版本探测、敏感文件发现、私钥解密、权限提升等。SQL注入测试需利用Nmap扫描端口,进行SQL注入并获取敏感信息。应急响应任务包括处理木马、删除恶意用户、修复启动项和清除服务器上的木马。流量分析涉及Wireshark数据包分析,查找黑客IP、枚举测试、服务破解等。渗透测试任务涵盖系统服务扫描、数据库管理、漏洞利用模块搜索等。
10 0
|
6天前
|
监控 负载均衡 算法
《计算机网络简易速速上手小册》第6章:网络性能优化(2024 最新版)
《计算机网络简易速速上手小册》第6章:网络性能优化(2024 最新版)
42 3
|
13天前
|
存储 缓存 自动驾驶
缓存策略与Apollo:优化网络请求性能
缓存策略与Apollo:优化网络请求性能
|
22天前
|
数据采集 网络协议 API
python中其他网络相关的模块和库简介
【4月更文挑战第4天】Python网络编程有多个流行模块和库,如requests提供简洁的HTTP客户端API,支持多种HTTP方法和自动处理复杂功能;Scrapy是高效的网络爬虫框架,适用于数据挖掘和自动化测试;aiohttp基于asyncio的异步HTTP库,用于构建高性能Web应用;Twisted是事件驱动的网络引擎,支持多种协议和异步编程;Flask和Django分别是轻量级和全栈Web框架,方便构建不同规模的Web应用。这些工具使网络编程更简单和高效。
|
1月前
|
安全 关系型数据库 网络安全
rds公共网络/公网访问
RDS公网访问允许用户通过互联网连接云数据库,但默认关闭以确保安全。需手动开启并配置公网IP或域名,使用时需注意安全风险,如设置严格防火墙规则、启用SSL/TLS加密和强化身份验证。公网访问可能产生带宽、IP及附加服务费用。内网访问是更安全、经济的选择,除非特定场景(如使用Linked Server功能)需公网访问。在实施时,应权衡安全、成本和需求。
12 1