关于ORACLE 和MYSQL INNODB 触发脏数据写的机制对比

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 首先要说明在ORACLE和INNODB触发checkpoint方面都采用LRU进行管理,并且都有全量检查点和增量检查点一说 在MYSQL中全量检查点叫做sharp checkpoint,增量检查点叫做FUZZY CHECKPOINT, 在ORACLE中更...



首先要说明在ORACLE和INNODB触发checkpoint方面都采用LRU进行管理,并且都有全量检查点和增量检查点一说
在MYSQL中全量检查点叫做sharp checkpoint,增量检查点叫做FUZZY CHECKPOINT,


在ORACLE中更加细化,加入了LRUW链表,并且加入CHECKPOINT-Q列表,两者共同配合完成增量CHECKPOINT,在ORACLE
中DBWR写是按照CHECKPOINT-Q的顺序写的其是LRBA的链表,其触发条件受到MTTR的限制,如果ORACL估计能够达到INSTANCE
CRASH RECOVERY的时间就会不触发CHECKPOINT-Q写,而加入LRUW列表更是为了减轻按照CHECKPOINT-Q来写的负担,如果检查到
哪些每3秒访问少2次的脏块就会从LRU中拿下计入LRUW,等待DBWR3秒醒来触发写,对于3秒访问大于等于2次的脏块,依然按照
checkpoint-Q来写,因为很可能还会修改,写完后从CHECKPOINT-Q下摘下。这样LRUW基本就是为了那些修改次数少的脏块而生的,
目的在于优先写入修改次数少脏块减轻CHECKPOINT-Q增量检查点压力。
其实在ORACLE中LRU和LRUW都分为辅助和主列两个,关于这一点是为了加快扫描LRU的效率,详细参加吕海波ORACLE内核揭秘
这里给出ORACLE写脏块的机制(来自吕海波ORACLE内核揭秘)
1、DBWR 3秒写冷脏块上面说的3秒内访问一次的脏块
2、CHEKPOINT-Q 写入,他也是DBWR来判断的如果不能满足MTTR的设置就开始写,由CKPT修改CONTROLFILE里面的各种信息,重要的
就是LRBA,关于LRBA和脏块数量可能通过X$KCCCP来查看
3、服务器进程扫描LRU发现25%的脏块直接出发DBWR写,不需要等待3秒,从LRUW进行写,有隐含参数_db_large_dirty_queue控制默认25%
4、服务器进程扫描超过40%的BUFFER没有找到可用的BUFFER来缓存新的数据块,不需要等待3秒,从LRUW进行, 
   由隐含_db_block_max_scan_pct控制
5、各种全量检查点
   alter system checkpoint
   SHUTDOWN DATABASE非ABORT
   log switch
   表空间OFFLINE 表空间一级检查点
   DDL语句drop truncate等对象一级检查点


在MYSQL中一切其实差不多,但是从MYSQL内幕innodb存储引擎一书来看,所有的脏块和干净的块都在LRU列中,同时还存放了一份
在flush列表中(类似ORACLE的CHECKPOINT-q),同样MASTER进程也是用来读取FLUSH列表进行脏数据写的,但是MYSQL没有LRUW的
概念,所以所有的脏块正常情况下都是冲FLUSH列表中的脏块写入的。
这里给出MYSQL写脏块的机制(姜承晓MYSQL内幕innodb存储引擎)
FUZZY CHECKPOINT
1、MASTER进程每秒或者每10秒从FLUSH列表中按照顺序写入脏块
2、根据innodb_lru_scan_depth 参数设置默认5.6 1024,如果没有PAGE CLEANR 进程发现没有1024可用空闲页,刷出LRU链尾端的页
   如果有脏块触发脏块写show engine innodb status 来看及如下:
   Buffer pool size   70400
   Free buffers       32776--这里
   Database pages     34879
   Old database pages 12711
   Modified db pages  662
   
3、根据日志的使用情况,如果从show engine innodb status 来看及如下:
   Log sequence number 3100866076
   Log flushed up to   3100744765
   Pages flushed up to 3099998234
   Last checkpoint at  3099878300
   
   75%*日志量>Log sequence number-Last checkpoint at 不需要触发脏块写
   75%*日志量<Log sequence number-Last checkpoint at<90%*日志量触发异步写
   Log sequence number-Last checkpoint at>90%*日志量触发同步写

4、根据INNODB_MAX_DIRTY_PAGE_PCT设置默认75,当脏块数量达到75%进行脏数据库写
   Buffer pool size   70400
   Free buffers       32776
   Database pages     34879
   Old database pages 12711
   Modified db pages  662  ---这里
   
sharp checkpoint 只有在关闭数据库的时候触发并且INNODB_FAST_SHUTDOWN=1的情况下(默认设置)




由此来看ORACLE的第一条和第二条属于正常刷新他们对应了MYSQL第一条
ORACLE的第三条属于脏块过多刷新对应MYSQL的第四条
ORACLE的第四条属于没有可用的BUFFER BLOCK对应MYSQL的第二条
ORACLE虽然没有根据日志量的使用情况来判断是否需要写脏块,但是ORACLE实际每次SWITCH LOGFILE
都会触发检查点,那么也就不存在这样的问题了。
最后思考一个问题,ORACLE中实际上可能会出现脏数据写赶不上日志切换的速度会出现等待
Checkpoint not complete,这个时候可能要加大LOGFILE 组来满足,或者减少LOG生成量,我想
MYSQL INNODB中应该也会有同样的情况发生,但是没有模拟出来,也不知道怎么查看。
我这里对比只是为了更加加深两种不同数据库的CHECKPOINT和脏数据写机制,同时加入了自己的一些理解,可能有误
给出参考文献尊重原著


参考:吕海波ORACLE内核揭秘
参考:姜承晓MYSQL内幕innodb存储引擎

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5天前
|
SQL 存储 Oracle
Oracle的PL/SQL定义变量和常量:数据的稳定与灵动
【4月更文挑战第19天】在Oracle PL/SQL中,变量和常量扮演着数据存储的关键角色。变量是可变的“魔术盒”,用于存储程序运行时的动态数据,通过`DECLARE`定义,可在循环和条件判断中体现其灵活性。常量则是不可变的“固定牌”,一旦设定值便保持不变,用`CONSTANT`声明,提供程序稳定性和易维护性。通过 `%TYPE`、`NOT NULL`等特性,可以更高效地管理和控制变量与常量,提升代码质量。善用两者,能优化PL/SQL程序的结构和性能。
|
13天前
|
缓存 NoSQL 关系型数据库
13- Redis和Mysql如何保证数据⼀致?
该内容讨论了保证Redis和MySQL数据一致性的几种策略。首先提到的两种方法存在不一致风险:先更新MySQL再更新Redis,或先删Redis再更新MySQL。第三种方案是通过MQ异步同步以达到最终一致性,适用于一致性要求较高的场景。项目中根据不同业务需求选择不同方案,如对一致性要求不高的情况不做处理,时效性数据设置过期时间,高一致性需求则使用MQ确保同步,最严格的情况可能涉及分布式事务(如Seata的TCC模式)。
37 6
|
20天前
|
SQL 关系型数据库 MySQL
轻松入门MySQL:保障数据完整性,MySQL事务在进销存管理系统中的应用(12)
轻松入门MySQL:保障数据完整性,MySQL事务在进销存管理系统中的应用(12)
|
13天前
|
存储 关系型数据库 MySQL
MySQL引擎对决:深入解析MyISAM和InnoDB的区别
MySQL引擎对决:深入解析MyISAM和InnoDB的区别
28 0
|
5天前
|
Oracle 安全 关系型数据库
Oracle数据守卫(DG):数据的“守护者”与“时光机”
【4月更文挑战第19天】Oracle Data Guard保障数据安全,通过实时维护备库实现故障切换,保证业务连续性。它使用日志传输和应用保持数据同步,如同“时光机”,借助闪回技术能恢复误操作数据。此外,它还提供数据压缩、加密和故障转移等功能,提升数据库安全性与性能。作为数据管理员,理解并善用Data Guard是确保企业数据安全的关键。
|
5天前
|
存储 NoSQL Oracle
Oracle 12c的内存列存储:数据的“闪电侠”
【4月更文挑战第19天】Oracle 12c的内存列存储以超高速度革新数据处理,结合列存储与内存技术,实现快速查询与压缩。它支持向量化查询和并行处理,提升效率,但需合理配置以平衡系统资源。作为数据管理员,应善用此功能,适应业务需求和技术发展。
|
5天前
|
存储 Oracle 关系型数据库
Oracle 12c的多重索引:数据的“多维导航仪”
【4月更文挑战第19天】Oracle 12c的多重索引提升数据查询效率,如同多维导航仪。在同一表上创建针对不同列的多个索引,加速检索过程。虽然过多索引会增加存储和维护成本,但合理选择和使用索引策略,结合位图、函数索引等高级特性,能优化查询,应对复杂场景。数据管理员应善用这些工具,根据需求进行索引管理,支持企业数据分析。
|
5天前
|
存储 Oracle 数据管理
Oracle 12c的自动数据优化(ADO)与热图:数据管理的“瘦身”与“透视”艺术
【4月更文挑战第19天】Oracle 12c的ADO和热图技术革新数据管理。ADO智能清理无用数据,优化存储,提升查询速度,实现数据&quot;瘦身&quot;;热图则以直观的视觉表示展示数据分布和状态,助力识别性能瓶颈,犹如数据的&quot;透视&quot;工具。这两项技术结合,强化数据管理,为企业业务发展保驾护航。
|
5天前
|
SQL Oracle 关系型数据库
Oracle的PL/SQL游标属性:数据的“导航仪”与“仪表盘”
【4月更文挑战第19天】Oracle PL/SQL游标属性如同车辆的导航仪和仪表盘,提供丰富信息和控制。 `%FOUND`和`%NOTFOUND`指示数据读取状态,`%ROWCOUNT`记录处理行数,`%ISOPEN`显示游标状态。还有`%BULK_ROWCOUNT`和`%BULK_EXCEPTIONS`增强处理灵活性。通过实例展示了如何在数据处理中利用这些属性监控和控制流程,提高效率和准确性。掌握游标属性是提升数据处理能力的关键。
|
5天前
|
SQL Oracle 安全
Oracle的PL/SQL循环语句:数据的“旋转木马”与“无限之旅”
【4月更文挑战第19天】Oracle PL/SQL中的循环语句(LOOP、EXIT WHEN、FOR、WHILE)是处理数据的关键工具,用于批量操作、报表生成和复杂业务逻辑。LOOP提供无限循环,可通过EXIT WHEN设定退出条件;FOR循环适用于固定次数迭代,WHILE循环基于条件判断执行。有效使用循环能提高效率,但需注意避免无限循环和优化大数据处理性能。掌握循环语句,将使数据处理更加高效和便捷。

推荐镜像

更多