效率提升50倍,轻松处理大数据

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 日前,阿里云宣布流计算(Aliyun StreamCompute,Powered by Blink)正式发布商业化版本。阿里云流计算是运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具,实现对网站数据、工业化数据、物联网数据等各种场合进行实时的数据监控、分析和处理。

阿里云流计算正式上线——新用户免费试用一个月

日前,阿里云宣布流计算(Aliyun StreamCompute,Powered by Blink)正式发布商业化版本。阿里云流计算是运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具,实现对网站数据、工业化数据、物联网数据等各种场合进行实时的数据监控、分析和处理。
1528611762571-c3b0d305-5ac8-48c5-b669-8e
流计算典型架构

解决痛点

阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时,受限于SQL代码功能有限无法满足某些特定场景的业务需求,阿里云流计算提供全功能的UDF函数,帮助用户完成业务定制化的数据处理逻辑。在流数据分析领域用户直接使用BlinkSQL+UDF即可完成大部分流式数据分析处理逻辑,目前的流计算更擅长于做流式数据分析、统计、处理。主要解决了用户的三大痛点:
1.流式数据的及时性
数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式,即以小时甚至以天为计算周期对当前数据进行累计并处理,显然这类处理方式无法满足数据实时计算的需求。在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域,批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而流计算作为一类针对流数据的实时计算模型,可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求。
2.一站式的流式数据处理
不同于开源或者自建的流式处理服务,阿里云流计算是完全托管的流式计算引擎,阿里云可针对流数据运行查询,无需预置或管理任何基础设施,用户可以享受一键启用的流式数据服务能力。阿里云流计算天然集成数据开发、数据运维、监控预警等服务,方便用户最小成本试用和迁移流式计算产品。
3.SQL化的流式分析
支持标准SQL(产品名称为:BlinkSQL),提供内建的字符串处理、时间、统计等各类计算函数,替换业界低效且复杂的Flink开发,让更多的BI人员、运营人员通过简单的BlinkSQL可以完成实时化大数据分析和处理,让实时大数据处理普适化、平民化。

同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。

应用场景

流计算擅长解决的几个领域的应用场景包括,实时的网络点击PV、UV统计;统计交通卡口的平均5分钟通过车流量;水利大坝的压力数据统计和展现;网络支付涉及金融盗窃固定行为规则的告警等。特别适合BI人员、大数据开发人员等用户。
据了解,阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,历经长期摸索和发展,将阿里集团本身沉淀多年的流计算产品、架构、业务能够以云产品的方式对外提供服务,用户可以完全享受到阿里集团最新最前沿的计算引擎能力,业务上可规避阿里集团多年在流式大数据的试错和教训,更快、更轻松地实时化大数据处理流程,助力业务发展。
1528611032533-7aa3bbb2-feb1-4d4e-99fa-73
 用户案例
经过多年沉淀,目前,阿里云流计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的相关产品。相对spark、storm等,阿里云流计算人力成本低,开发运维更加便利,还可以无缝对接阿里云数据存储。用户可以充分利用阿里云流计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。
1528610772433-27e3c625-f478-41f1-b196-c2
  

使用说明

流计算的基本计量单位为CU(Compute Unit,即计算资源),一个CU对应于流计算底层系统是一个CPU的计算能力。流计算底层使用虚拟化技术进行资源隔离,保证一个基本的CU消费且最大消费仅能为一个CPU的计算能力。产品的具体使用也十分方便,具体来说有以下几步:
1528610797177-f7c6096e-c9eb-4752-872d-0a
此外,阿里云流计算近期上线新用户可免费试用一个月的活动。其次,用户购买门槛降至2个CU。用户可以在阿里云流计算页面( https://data.aliyun.com/product/sc)申请免费试用。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
人工智能 芯片
大模型是发展基石与底座,但门槛过高,主导者仅占少数
【1月更文挑战第5天】大模型是发展基石与底座,但门槛过高,主导者仅占少数
33 3
大模型是发展基石与底座,但门槛过高,主导者仅占少数
|
5月前
|
大数据 数据挖掘 数据安全/隐私保护
大数据对生活的影响
大数据对生活的影响
83 1
|
8月前
|
机器学习/深度学习 大数据 数据挖掘
大数据及其影响:企业如何充分利用它
大数据及其影响:企业如何充分利用它
|
12月前
|
机器学习/深度学习 Kubernetes 搜索推荐
突破百万亿参数规模,追求极致的效率和性价比:华人团队开源首个异构并行推荐系统训练框架Persia
突破百万亿参数规模,追求极致的效率和性价比:华人团队开源首个异构并行推荐系统训练框架Persia
146 0
|
消息中间件 缓存 大数据
大数据任务优化
大数据任务优化
大数据任务优化
|
存储 分布式计算 大数据
IOPS对大数据应用影响
IOPS对大数据应用影响
114 0
|
监控 小程序 安全
产品人如何用更少的成本推动业务高速增长?
产品经理应聚焦四大阶段:市场、测试、体验和业务表现,还应借助第三方数据统计SDK,如友盟+U-App快速集成采集数据,节省采集成本高。另一个是解决标准问题,同时拥有标准化统计逻辑,可以有效解决指标不统一的问题,并分析流量来源、行为分析、留存及漏斗,以及整个分析过程。
产品人如何用更少的成本推动业务高速增长?
|
分布式计算 Cloud Native 关系型数据库
效率提升一倍,成本下降 80%,阿里云落地全球最大规模云原生实践
据悉,本次 双11 核心系统实现了全面云原生化,底层硬核技术升级带来了澎湃动力和极致效能:每万笔峰值交易的 IT 成本较四年前下降了 80%,规模化应用交付效率提升了一倍之多,这也是全球最大规模的云原生实践。
效率提升一倍,成本下降 80%,阿里云落地全球最大规模云原生实践
|
SQL 存储 分布式计算
阿里云EMR计算速度提升2.2倍 连续两年打破大数据领域最难竞赛世界纪录!
4月26日,大数据领域权威竞赛TPC-DS公布了最新结果,阿里云作为全球唯一入选的云计算公司获得第一。值得一提的是,去年阿里云EMR首次打破该竞赛纪录,成为全球首个通过TPC认证的公共云产品。今年在这一基础上,EMR的计算速度提升了2.2倍,连续两年打破了这项大数据领域最难竞赛的世界纪录。
阿里云EMR计算速度提升2.2倍 连续两年打破大数据领域最难竞赛世界纪录!