DataHub应用场景有哪些?

简介: 本文为您介绍DataHub三大应用场景,主要场景包括:实时数据通道、实时数据清洗和分析、实时数据仓库。

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

应用场景

1. 实时数据通道

1.1 接入多种异构数据并投递到下游多种大数据系统
通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。

1.2 收益

系统解耦
对外,大数据系统与业务系统解耦,对内,大数据系统各组件之间解耦。

实时通道
通过数据总线,业务数据能够实时汇入大数据系统,缩短数据分析周期。
image

2. 实时数据清洗和分析

2.1 接入多种异构数据,实时清洗并归一化
通过数据总线和实时计算,您可以把多种数据源的异构数据实时清洗成统一的结构化数据,为进一步分析做准备。

2.2 收益

实时ETL
接入多种数据源,实时进行清洗、过滤、关联与转换,产出结构化数据。

实时分析
亚秒级产出业务指标,把握转瞬即逝的数据价值。
image

3. 实时数据仓库

3.1 数据总线替换传统数据库,构建实时数仓
从Lambda架构到Kappa架构,通过数据总线搭建原始数据层,实时明细层和实时汇总层,打造实时数据仓库。

3.2 收益

统一的Kappa架构
传统Lambda架构的两条链路缩减为一条,大大降低维护成本。

大数据实时化
数仓是大数据的基础,实时化的数仓能够让BI、报表、推荐(用户标签产出)等多种业务收益,大数据系统总体向实时化迈进。
image

本文来自 阿里云文档中心 DataHub 应用场景

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
目录
相关文章
|
5月前
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
708 1
|
7月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
302 2
|
3月前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
5月前
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
|
7月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
176 3
|
9月前
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
77 1
|
JSON 物联网 数据格式
物联网平台数据流转到datahub时报错
记录一次物联网平台数据流转到datahub时的报错
392 0
物联网平台数据流转到datahub时报错
|
SQL 消息中间件 NoSQL
数据治理方案技术调研 Atlas VS Datahub VS Amundsen
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。
1352 0
数据治理方案技术调研 Atlas VS Datahub VS Amundsen
|
存储 消息中间件 SQL
DataHub——实时数据治理平台
DataHub——实时数据治理平台
4570 0
DataHub——实时数据治理平台
|
Java 测试技术 Ruby
基于LogStash插件采集数据到阿里云Datahub
DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点,原生支持对接阿里云的多项服务,相关功能特点与Kafka类似。本身主要介绍如何使用LogStash采集数据写入Datahub。
927 0
基于LogStash插件采集数据到阿里云Datahub