数据湖构建服务搭配Delta Lake玩转CDC实时入湖

作者: 云栖号资讯小哥 4606人浏览

什么是CDC Change Data Capture(CDC)用来跟踪捕获数据源的数据变化，并将这些变化同步到目标存储(如数据湖或数据仓库)，用于数据备份或后续分析，同步过程可以是分钟/小时/天等粒度，也可以是实时同步。

性能 SQL Image 同步 spark 解决方案 e-mapreduce 数据同步 test binlog 存储

MySQL慢日志slow_log为何会出现Prepare与Binlog Dump

作者: 手辨 13人浏览

尝试分析MySQL慢日志slow_log为何会出现Prepare与Binlog Dump

java mysql 函数 日志 binlog dump

MySQL主从复制读写分离，看这篇就够了！

作者: java技术爱好者 11人浏览

什么是主从复制，如何实现读写分离，看这篇你就懂了！

java mysql 日志 线程 数据库 配置 Image 同步 binlog

简单了解InnoDB底层原理

作者: 云栖号资讯小哥 693人浏览

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 存储引擎很多文章都是直接开始介绍有哪些存储引擎，并没有去介绍存储引擎本身。那么究竟什么是存储引擎？不知道大家有没有想过，MySQL是如何存储我们丢进去的数据的？其实存储引擎也很简单，我认为就是一种存储解决方案，实现了新增数据、更新数据和建立索引等等功能。

mysql innodb 日志 LOG 索引 binlog 磁盘 表空间 存储 myisam

神仙打架：PG和MySQL到底选啥?

作者: 云栖号资讯小编 886人浏览

本文介绍 MySQL 和 PostgreSQL 的一些特性对比，让大家了解二者的优劣，更好的做出选择。

PostgreSQL mysql innodb Oracle 数据库 同步 索引 逻辑复制 分布式数据库 binlog

Delta Lake 如何帮助云用户解决数据实时入库问题

作者: 阿里云E-MapReduce团队 169人浏览

Delta Lake 自发布以来得到了业界广泛的关注，其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求；其 Multi-Hop 架构 的流批一体设计极大简化了用户运维数据管道的成本，使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。

大数据 SQL 数据仓库 spark binlog optimize

数仓大法好！跨境电商 Shopee 的实时数仓之路

作者: 阿里云实时计算Flink 702人浏览

本文讲述 Flink 在 Shopee 新加坡数据组（Shopee Singapore Data Team）的应用实践，主要内容包括：实时数仓建设背景、Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景、实时任务监控、Streaming SQL 平台化、Streaming Job 管理、未来规划优化方向。

监控 hbase SQL 配置 数据仓库 电商 spark binlog 存储

【大厂面试04期】讲讲一条MySQL更新语句是怎么执行的？

作者: 优惠码大使 310人浏览

【大厂面试04期】讲讲一条MySQL更新语句是怎么执行的？ 流程图这是在网上找到的一张流程图，写的比较好，大家可以先看图，然后看详细阅读下面的各个步骤。 执行流程：1.连接验证及解析客户端与MySQL Server建立连接，发送语句给MySQL Server，接收到后会针对这条语句创建一个解析树，然后进行优化，（解析器知道语句是要执行什么，会评估使用各种索引的代价，然后去使用索引，以及调节表的连接顺序）然后调用innodb引擎的接口来执行语句。

mysql innodb 日志 LOG 线程 Server 索引 binlog 磁盘 Commit

MySQL伪审计实现

作者: 梓杰 574人浏览

数据存储与数据库 mysql 线程 Server string binlog

云数据库高可用—— Series1：MySQL主从复制原理背景

作者: 阿里云SRE团队小编 1061人浏览

高可用是系统架构设计中必须考虑的因素之一，主要目标是消除基础架构中的单点故障，通常表示为一个百分比，表示在给定时间段内特定系统或组件的正常运行时间，其中100％表示系统永不失效。而任何的单机系统因受限于软硬件的限制，如硬件损坏、操作系统崩溃、软件BUG、业务压力过大等原因，都不可能保证系统100%可用。

日志 线程 高可用 数据库 集群 钉钉 同步 云数据库 单点故障 数据同步 云平台 binlog

你还精通MySQL，竟然连bin log、redo log都不知道！

作者: 云栖号资讯小哥 872人浏览

mysql不是每次数据更改都立刻写到磁盘，而是会先将修改后的结果暂存在内存中,当一段时间后，再一次性将多个修改写到磁盘上，减少磁盘io成本，同时提高操作速度。

架构 mysql 日志 LOG 配置 面试题 binlog 磁盘 数据恢复 Commit

基于GTID搭建主从MySQL

作者: 推荐码发放 684人浏览

基于GTID搭建主从MySQL 目录 基于gtid搭建主从MySQL 一、GTID的使用 二、GTID的简介 三、GTID的构成 四、查看GTID的执行情况 4.1 gtid_executed 4.2 gtid_own 4.3 gtid_purged 五、MySQL的幂等性 六、拓展： 七、实验： 小实验1： 小实验2: 基于gtid搭建主从MySQL# 一、GTID的使用# 想让主从之间使用gtid的方式同步数据，需要我们在配置文件中开启mysql对gtid相关的配置信息 找到my.cnf ，在mysqld模块中加入如下的配置。

mysql 配置 同步 数据同步 variables binlog

DB 与 Elasticsearch 混合应用之数据实时同步

作者: 工程师甲 526人浏览

详细介绍如何解决DB到Elasticsearch数据实时同步问题

数据库 配置 中间件 Image 同步 DB aliyun Elasticsearch 数据同步 binlog canal

基于bin-log&position搭建主从架构MySQL

作者: 优惠券发放 624人浏览

基于bin-log&position搭建主从架构MySQL 目录一、MySQL主从搭建二、主库2.1、确定主库的binlog是否开启2.2、骚气的命令2.3、记录主库的master状态三、从库3.1、从库和主库保持同步3.

架构 mysql 数据库 配置 同步 binlog

MySQL 的 crash-safe 原理解析

作者: 2020Labs 764人浏览

MySQL作为当下最流行的开源关系型数据库，有一个很关键和基本的能力，就是必须能够保证数据不会丢。那么在这个能力背后，MySQL是如何设计才能保证不管在什么时间奔溃，恢复后都能保证数据不会丢呢？有哪些关键技术支撑了这个能力？本文将为我们一一揭晓。

数据存储与数据库 mysql 性能 日志 LOG 数据库 mutex binlog 磁盘 Commit WAL 组提交

MySQL的delete误操作的快速恢复方法

作者: 未央& 7244人浏览

如果我们在数据库中不小心执行了类似“delete from t1”这样的不带where条件的语句，那么整张表的数据就全被删除了，如何在最短的时间恢复被删除的数据就显得十分关键。下面来演示如何通过binlog来快速恢复表数据。

数据存储与数据库 mysql 数据库 Server string test session binlog sed

数据上云，应该选择全量抽取还是增量抽取？

作者: 伴弋 2521人浏览

数据抽取是指从源数据抽取所需要的数据， 是构建数据中台的第一步。 数据源一般是关系型数据库，近几年，随着移动互联网的蓬勃发展，出现了其他类型的数据源，典型的如网站浏览日期、APP浏览日志、IoT设备日志从技术实现方式来讲，从关系型数据库获取数据，可以细分为全量抽取、增量抽取2种方式，两种方法分别适用于不用的业务场景 增量抽取 时间戳方式用时间戳方式抽取增量数据很常见，业务系统在源表上新增一个时间戳字段，创建、修改表记录时，同时修改时间戳字段的值。

大数据 mysql Oracle 日志 数据库 Image 同步 数据同步 分区表 binlog MaxCompute