开发大数据的正确姿势--交互式分析

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文为您深度揭秘交互式分析的核心技术以及应用场景,用交互式分析打开开发大数据的正确姿势!

在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文整理自2019年云栖大会大数据技术专场交互式分析团队的精彩演讲,为您深度揭秘交互式分析的核心技术以及应用场景,打开开发大数据的正确姿势!

本文内容整理自云栖大会演讲视频以及PPT。

更多详情请点击:云栖大会交互式分析现场分享

交互式分析是阿里云的一款实时数仓产品,实时数仓最常用的两种查询为简单查询和复杂查询,简单查询例如典型的双11媒体大屏,复杂查询例如AB实时test。针对两种实时数仓的查询场景,典型的业务架构为:用户产生的数据进入消息队列(例如阿里云的DataHub),然后经过实时处理(例如Flink)初步聚合,存储到存储服务里,之后进行数据服务,但由此会产生两个核心的问题:
1.数据选用什么存储服务?
2.如何对外提供高可靠、低延时的数据服务?

针对数据存储,目前市面上常用的产品可能是:
1.基于行存适用于高并发简单查询的Hbase、Cassandra;
2.基于列存适用于复杂大扫描查询的Druid、Kudu。
而开发人员往往会根据业务特性来选择适合自己的存储,当业务足够复杂的时候,可能一个业务需要多套存储系统,为开发、运维带来难度。除此之外,根据业务不同的需求,在数据查询方面也会有不同的需求,比如有时需要简单查询,有时需要复杂关联查询,这时又需要使用不同的计算引擎来提供数据服务,这无疑又给开发、运维带来一定难度。

交互式分析的诞生就是为了解决以上问题,为用户提供一站式高并发、低延时的存储和计算一体化的数据服务,并与大数据生态无缝打通,让你使用现有BI工具就能实现PB级数据的秒级查询分析。

交互式分析--秒级实时数仓

  • 大规模计算型存储
    采用存储、计算分离的架构,支持简单查询与复杂SQL查询。
  • 高性能查询服务
    使用交互式分析实现PB级数据秒级查询响应。
  • 兼容PostgreSQL生态
    意味着只要会使用PostgreSQL就能使用交互式分析,大大降低学习成本。同时,也意味着所有对接PostgreSQL的工具也能对接交互式分析,例如PostgreSQL自有的客户端(psql)、BI分析工具(Tableau、Quick BI)等。

典型应用场景

交互式分析经过在集团内的多年沉淀,已形成自有的典型应用场景,并且广泛用于互联网、新零售、IOT、金融等各个业务。
image

系统架构

  • 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层无缝打通,可直接对MaxCompute数据加速查询。
  • 兼容PostgreSQL,提供JDBC、ODBC接口可直接对接各种开发工具、BI分析工具。
    image

关于交互式分析的更多详细信息,可前往交互式分析官网查看。
同时也欢迎大家进入交互式分析的钉钉交流群,技术专家实时在线为您解决问题。
image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
40 0
|
1月前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
2月前
|
供应链
代采系统如何利用大数据分析优化采购决策?
代采系统可以利用大数据分析来优化采购决策
|
2月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
2月前
|
存储 分布式计算 算法
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
29 0
|
4天前
|
数据可视化 大数据 Python
python大数据分析处理
python大数据分析处理
10 0
|
5天前
|
机器学习/深度学习 人工智能 大数据
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
|
11天前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
|
13天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
|
14天前
|
存储 运维 监控

热门文章

最新文章