Mariadb Thread Pool VS Oracle MySQL Enterprise

  1. 云栖社区>
  2. 博客>
  3. 正文

Mariadb Thread Pool VS Oracle MySQL Enterprise

像教授 2017-11-26 19:53:00 浏览851
展开阅读全文

Oracle MySQL Enterprise 部分
Thread_pool_algorithm:

连接并发调度算法,默认值0    使用一种保守低级别并发的算法,经测试表现结果不错。 值为1的话,并发数量会增大,采用更激进的算法性能,在线程数量一定的时候性能得到5-10%的提升,随着更大的连接数,性能会随之下降。

Thread_pool_high_priority_connection:

该参数影响 如何安排语句的执行顺序,默认值为0,statement会使用 low priority 和 high-priority 两种队列,如果等于1的话,那只会使用high priority 一种队列。

Thread_pool_prio_kickup_timer:

statement 从low priority 队列 移到 high-priority的等待时间。单位为毫秒

Thread_pool_max_unused_threads

该参数限制了sleep thread 所使用的内存。默认值为0,即不限制,当值为N时(N>1),1个 consumer  thread ,n-1 个 reserve  threads。当处于sleeping 的thread 达到最大值,再有新的thread 将要 sleep 的时候,该线程只能直接退出。
一个sleeping thread 有两种角色 consumer 和 reserve ,thread pool只允许一个线程是 consumer thread,如果 有一个thread 将要sleep而此时 thread pool 中没有 consumer角色的线程,那该线程会成为 consumer thread;当需要唤醒某个线程的时候,consumer thread是首选,只有当consumer thread 这种角色的 线程不存在时 才会选择 reserve 角色的线程

Thread_pool_size :thread groups的数量

Thread_pool_stall_limit:thread执行下一个新的 statement的时间间隔。


参数推荐配置:
Thread_pool_size 只读的变量,
主要的存储引擎是:InnoDB, 取值为 16---36 最佳取值为 24---36 对于写密集型的应用,有时候要 低于 36.
主要的存储引擎是:MyISAM:最佳为 4—8,设置的太高 对性能没有显著的影响。

Thread_pool_stall_limit:对于 long-running statement 和 被blocked 的语句 有很大的影响。对于blocked的情况,如果thread pool 能检测到则会开启一个新的线程,针对thread pool 没有检测到该情况,只能通过 该参数来设置超时时间。
该值太高的话,会出现 long-running 的statement 阻挡 更多的短查询。

举例:

When a statement arrives, what is the maximum time it can be delayed before it actually starts executing? Suppose that the following conditions apply:
•    There are 200 statements queued in the low-priority queue.
•    There are 10 statements queued in the high-priority queue.
•    thread_pool_prio_kickup_timer is set to 10000 (10 seconds).
•    thread_pool_stall_limit is set to 100 (1 second).
In the worst case, the 10 high-priority statements represent 10 transactions that continue executing for a long time. Thus, in the worst case, no statements will be moved to the high-priority queue because it will always already contain statements awaiting execution. After 10 seconds, the new statement is eligible to be moved to the high-priority queue. However, before it can be moved, all the statements before it must be moved as well. This could take another 2 seconds because a maximum of 100 statements per second are moved to the high-priority queue. Now when the statement reaches the high-priority queue, there could potentially be many long-running statements ahead of it. In the worst case, every one of those will become stalled and it will take 1 second for each statement before the next statement is retrieved from the high-priority queue. Thus, in this scenario, it will take 222 seconds before the new statement starts executing.
This example shows a worst case for an application. How to handle it depends on the application. If the application has high requirements for the response time, it should most likely throttle users at a higher level itself. Otherwise, it can use the thread pool configuration parameters to set some kind of a maximum waiting time.


 

MariaDB部分

在mariadb 中使用 threadpool (以Linux为主)
在配置文件中添加:thread_handling=pool-of-threads
Threadpool server variables 都是可以动态调整的。

在unix上推荐的参数:
Thread_pool_size 建议采用默认

Thread_pool_stall_limit;毫秒单位,默认值500 (0.5s)当达到这种限制的时候 threadpool会wake up 或者创建一个新的thread来执行新的statement,这种抢占机制哪种long-running query 霸占 这个pool,临时允许多个线程并行执行,当线程的总量达到 thread_pool_max_threads 规定的总量时,就不会创建新的线程,甚至时间已经超过了thread_pool_stall_limit规定的时间。

Thread_pool_max_threads:默认值为500

Thread_pool_idle_timeout:默认60s空闲的线程退出时间间隔

Thread_pool_oversubscribe:默认值为3,这是对让每个CPU都有超过1个同时运行的线程与让线程sleep awake 的折中,值越高,会同时运行很多的线程,值越低,会出现更多的sleep 和 wake up

监控 thread pool 的状态;

Thread_threads  pool 当前的线程数

Threadpool_idle_threads :当前不活跃的线程数,只涉及到unix,处于idle的状态:wait for new work,blocked due to disk io,row or table lock

Troubleshooting blocking situations
尽管讲 thread_pool_max_threads  调的很高,遇到全局锁的情况可能会导致整个pool 被block,假设一种情况 一个client 执行:flush tables with read lock 并暂停,此时有500个其他的client进行write操作, 最大线程数已经达到,此时在也不能执行 unlock table操作。
针对上述情况,mariadb 允许你使用专用的连接,并且设置 extra_port(不等于一般连接的 port),连接后可以增加 thread_pool_max_threads 或者kill 掉不必要的连接。
这里需要在配置文件中添加如下两项:
Extra-port=0 (默认为0)
Extra-max-connections=1 (默认为1)
当extra-port >0的时候,可以进行super user 的连接,连接方式使用的是one-thread-per-connection method.
Mysql  --port=’number-of-extra-port’  --protocol=tcp
 


MariaDB threadpool vs Oracle MySQL Enterprise Threadpool

相似地方:
1、    两者同样会将client connections 分组,thread_pool_size 都代表 thread group的个数,
2、    两者对于thread stalls 使用相似的 schema checking。只是单位不一致, MariaDB使用的是毫秒,官方使用的是 10ms。
不同点:
1、    windows的实现方式完全不同,MariaDB 使用windows本地的 threadpool,oracle  使用WSAPoll() 方法来实现。而且对于管道或者共享内存连接是不起作用的
2、    MariaDB使用最有效的I/O multiplexing facilities 对于每一个os,windows(the I/O completion port is used internally by the native threadpool),linux(epoll),Solaris(event port),FreeBSD 和 OSX(kevent),Oracle 只对linux 使用 epoll,其他的全部是 poll()
3、    相比于Oracle MySQL Enterprise,MariaDB threadpool 不会限制最小的并发事务。
4、    MariADB是 嵌入到server内,不是以plugin的形式存在。

测试数据:

taskset -c 0,1,2,3,4,5,6,7 ./sysbench --num-threads=100 --test=oltp --oltp-table-size=10000000 --mysql-table-engine=innodb --mysql-user=root --mysql-socket=/tmp/mariadb.sock --mysql-password=ws123 --mysql-db=test  --mysql-port=3308 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

官方版本 未启用 threadpool

    transactions:                        10002  (298.79 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 190038 (5676.92 per sec.)
    other operations:                    20004  (597.57 per sec.)

mariadb 启用 threadpool:

    transactions:                        10000  (382.11 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 190000 (7260.16 per sec.)
    other operations:                    20000  (764.23 per sec.)

 

 






本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1163823,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
像教授
+ 关注