流数据平台的5个核心属性

简介:
文章讲的是 流数据平台的5个核心属性大数据中蕴含的信息能够帮助企业以更广的视角来洞察数据,提升企业的决策力。数据驱动型的企业也如雨后春笋般冒出,但是数据驱动型企业看似前景光明,其实面临着很多挑战。随着数据类型的多样化,数据驱动型企业必须考虑很多新的数据源,比如移动应用程序、全球网站、物联网的 传感器 信息等等。这些新的数据源就要求技术人员要熟悉了解流数据平台。

流数据平台的5个核心属性

  流数据平台的集成、流数据的采集以及流媒体应用的分析,有五个核心属性是必不可少的。

  低延迟:流数据平台需要从流中获得数据,并匹配合适的数据源。流媒体数据平台的关键之一就是要有和特定的商业模式或场景匹配的数据采集和近实时分析的能力。当你需要等待数据落到数据仓库或基于Hadoop的数据湖时,那么流分析的实时性价值就会被降低。尤其是在一些基于位置的应用或者是预测性维护的应用程序中,一旦在数据创建或落地的过程中花费太多的时间,那么就可能会对企业业务有很大的影响,比如错失重要客户,甚至会造成极大的经济损失。

  可扩展性:流数据平台不仅仅是连接两个在企业防火墙后面的数据源,同时它还需要能够匹配连接设备的增长速度以及物联网的发展速度。这也就意味着流数据平台需要获得不同来源的大量数据,这些数据包括来自内部和外部以及第三方的数据。

  多样化:流数据平台不仅仅要支持移动设备、云端,物联网等等这些“新时代”的数据源,也要支持关系数据库、数据仓库和ERP、CRM、SCM等业务应用的“历史遗留”的数据源。流数据平台必须与流设备的信息相结合才能够提高数据洞察的准确性。

  集中性:一个核心租户的流数据平台的架构是很容易实现的。采用集中式架构的流数据平台,不仅可以简化流数据的来源和输出之间的连接,而且可以提供统一的技术和业务元数据存储库,将数据转换为通用的数据格式。

  持久性:数据是否能够成功落到数据仓库或基于Hadoop的数据湖中,是考察流数据平台的关键因素。这里指的不仅仅是流数据的采集和分析,还包括历史数据的处理分析,包括基于模式的策略规则、基于流数据分析处理的聚类分析。

  以上五个核心属性是建立流数据平台的基础,数据驱动型企业要想有长足的发展,那么一个功能完整、架构强大的流数据平台是必不可少的。


作者:田晓旭

来源:IT168

原文链接:流数据平台的5个核心属性

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
12天前
|
安全 中间件 数据安全/隐私保护
中间件的定义,包括它的功能、应用场景以及优势。
中间件是位于操作系统和应用软件间的系统软件,提供数据交换、应用集成、流程管理和安全保障等服务。常用于分布式系统、微服务架构和企业级应用,实现高效、低耦合的系统运行。其优势在于降低开发成本、提升系统性能、简化扩展和维护。中间件推动了软件技术的发展和创新。
15 1
|
1月前
|
消息中间件 存储 数据库
RocketMQ 流存储解析:面向流场景的关键特性与典型案例
RocketMQ 流存储解析:面向流场景的关键特性与典型案例
88357 0
|
5月前
|
存储 C语言 C++
66 C++ - 流的概念和流类库的结构
66 C++ - 流的概念和流类库的结构
37 0
|
5天前
|
存储 Java 数据库
平台设计-数据相关类
平台上和数据有关的类有实体类BO、视图类VO、传输类DTO;传输类又细分为信息类和请求类。
|
3月前
|
存储 消息中间件 分布式计算
流计算中的状态管理是什么?请解释其作用和常用方法。
流计算中的状态管理是什么?请解释其作用和常用方法。
25 0
|
3月前
|
Java 数据处理 Apache
流计算中的窗口操作是什么?请解释其作用和使用场景。
流计算中的窗口操作是什么?请解释其作用和使用场景。
20 0
|
监控 安全 网络架构
用于同步光网络 (SONET) 和同步数字体系 (SDH) 控制的通用多协议标签交换 (GMPLS) 扩展
本文档提供了特定于同步光网络 (SONET)/同步数字体系结构 (SDH) 的详细信息。根据 [RFC3471],SONET/SDH 特定参数在信令协议中携带在流量参数特定对象中。
345 0
用于同步光网络 (SONET) 和同步数字体系 (SDH) 控制的通用多协议标签交换 (GMPLS) 扩展
|
缓存
标准 I/O 的核心操作
标准 I/O 的核心操作
59 0
html+css实战115-标准流
html+css实战115-标准流
110 0
html+css实战115-标准流
|
云计算 人工智能 数据处理
对话行癫:解密阿里云顶层设计和底层逻辑
几十个问题,万字长文,阿里云新任总裁行癫履新后首次深入讨论阿里云对云计算未来的判断,深度解读未来阿里云生态战略,揭秘阿里技术委员会和阿里中台思想的原生思考。
2293 0