MySQL用户如何构建实时数仓

简介: 依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

MySQL用户为什么要单独构建数据仓库

为什么要单独构建数据仓库,而不是直接在MySQL数据库上运行分析查询?这个问题我上面文章提到过,为了回答这个问题,我们先来看下数据仓库与OLTP数据库之间的差别。数据仓库主要是针对批量写入和大量数据的读取操作,而OLTP数据库是针对持续写入操作以及大量的小规模读取操作。通常,数据仓库会因较高的数据吞吐量要求而使用非规范化模型,如星型模型和雪花模型。星型架构包含多个引用大量维度表的大型事实数据表。雪花型架构是星型架构的扩展,包含更加规范化的维度表。而OLTP数据库则使用高度规范化的模型,更适合高事务吞吐量的要求,对于复杂查询的性能很难满足用户要求。

规范化操作是一定要把分析查询拆分到数据仓库中,达到“臃肿”状态时再构建数据仓库是会付出迁移成本。直接在MySQL数据库上运行分析查询的缺点总结为:

  1. 很容易影响在线业务,只读实例扩展难,无法做到实时分析;
  2. 每月新增数据比较大情况下,需要定期手动做分库操作,从多个库检索数据进行分析,查询性能无法满足需求;
  3. 把数据统一抽取到大数据平台,技术门槛高,改造难度大耗时长。

什么是AnalyticDB for MySQL

几年前阿里云就意识到实时数据仓库的必要性,2015年AnalyticDB for MySQL肩负着阿里云实时数据仓库的使命上线公共云。AnalyticDB for MySQL是阿里云上唯一经过核心业务和超大数据量验证的实时数据仓库,其稳定性、规模性和性能是不容置疑的。AnalyticDB for MySQL是全球最快的数据仓库。全球最知名的数据管理系统评测标准化TPC组织公布了数据库领域分析性能基准测试最新排名:阿里云自研超大规模分析型数据库AnalyticDB正式荣登榜首,成为全球第一家通过TPC第三方严格审计认证的云上数仓产品。

AnalyticDB采用行列混存MPP技术,突破OLTP和传统数据仓库技术壁垒,最大优势是可以构建PB数据量下高性能和经济实用的数据仓库。全面兼容MySQL协议以及SQL:2003 语法标准,用户只需对现有业务进行少量更改,甚至不需要进行任何更改,即可把业务全部迁移到AnalyticDB for MySQL上来。因此,它已成为当今企业构建数据仓库和OLAP系统的理想选择。

解决方案架构图

架构简单,组件少,效率高。只需通过DTS把MySQL业务库数据实时同步到AnalyticDB for MySQL中,数据在AnalyticDB for MySQL实时数据仓库中进行加工处理和计算。

image

解决方案优势

  1. 实时性
    AnalyticDB for MySQL同时具有计算的实时性(计算在用户查询时发生,查询速度快,毫秒级返回)和数据的实时性(数据产生插入数仓后马上就可以查询到);
  2. 低成本和易扩展
    单节点最低1.30/小时,作为云上企业级数据仓库还易扩展的特性,高峰期实现秒级扩容。
  3. 简单易用
    全量+增量自动同步,数据入库简单、安全可靠;
  4. 高度兼容
    完全兼容MySQL,用户无须修改SQL,迁移成本极低;
  5. 生态丰富
    兼容常用BI、ETL和客户端工具,完备适配用户场景。

AnalyticDB for MySQL 典型应用场景

image

AnalyticDB for MySQL客户案例

递四方构建物流行业实时数仓

image

无他相机移动APP运营平台

image

写在最后

相比于大数据方案构建数仓,AnalyticDB for MySQL除了在实时性上有绝对优势外,使用简单也是不可或缺的优势。无需要储备大数据人才,数据库团队即可轻松玩转实时数据仓库,帮助公司节约至少百万成本。 AnalyticDB for MySQL 1元购活动正在火热进行中,限时续费包月八折,包年七折。你还等什么,赶紧来试用吧!

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
2月前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
17 2
|
4月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
295 4
|
4月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
216 3
|
9天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之如何使用ADB MySQL湖仓版声纹特征提取服务
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
9天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别,或者 ADB 对比 StarRocks 的优劣势
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
7天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 1
|
7天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
20 0
|
9天前
|
SQL 分布式计算 关系型数据库
云原生数据仓库产品使用合集之可以把ADB MySQL湖仓版数据库做成页面查询的数据库吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
25天前
|
SQL 存储 JSON
Flink+Paimon+Hologres 构建实时湖仓数据分析
本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。
|
2月前
|
存储 数据处理 Apache
万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
93 0

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版