1. 云栖社区>
  2. 全部标签>
  3. #流式计算#
流式计算

#流式计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

阿里巴巴,果然开始拥有“预测未来”的能力了

文 | 史中 顶灯闪烁,笛声响彻。 救护车载着病人,冲向茫茫车海,在时间的赛道上狂奔。 高德地图、GPS 卫星导航、路面磁感线圈、1300 个路口摄像头同时开动,为这辆救护车勘探最快路线; GPS 传回实时数据,后台根据辅助数据纠偏,锚定救护车每一刻的精确位置; 救护车将要经过的沿途,车辆情况被实时计算。确保路口绿灯提前亮起,在救护车通过之前,刚好所有社会车辆已经行驶一空。 这

大数据 算法 阿里技术协会 淘宝 流式计算 流计算 Blink flink 大数据动态 实时计算

Apache Flink 漫谈系列(01) - 序

本人 孙金城,淘宝花名"金竹",阿里巴巴高级技术专家,Apache Flink Committer。目前就职于阿里巴巴计算平台事业部,自2015年以来一直投入于基于Apache Flink的设计研发工作。

大数据 架构 分布式系统与计算 Apache 模块 淘宝 流式计算 流计算 flink

[转载] Spark Streaming 设计原理

最近两年流式计算又开始逐渐火了起来,说到流式计算主要分两种:continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming,正好结合论文介绍一下。

分布式 集群 spark 流式计算 replication sparkstreaming Streaming

Druid:实时处理时序数据的OLAP数据库

大数据分析和Druid 大数据一直是近年的热点话题,随着数据量的急速增长,数据处理的规模也从GB 级别增长到TB 级别,很多图像应用领域已经开始处理PB 级别的数据分析。

分布式 大数据 架构 hadoop 数据处理 高可用 数据库 互联网 数据分析 spark 流式计算 OLAP 大数据分析

表格存储触发函数计算示例之 Nodejs/Php/Java Runtime

创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,从而实现OTS数据发生变更时候定制化的自动处理。本教程作为补充,通过代码示例说明在其他runtime下怎么玩转Table Store触发器。

php java 函数 runtime 弹性伸缩 流式计算 aliyun 表格存储 html handler github serverless 函数计算

基于Flink流处理的动态实时电商实时分析系统

Flink是一个针对流数据和批数据的分布式处理引擎,主要用Java代码实现。

大数据 引擎技术 hadoop 互联网 用户体验 电商 流式计算 开发环境 Mapreduce 产品分析 flink 流数据 分布式处理引擎 电商实时分析系统

实时计算 Flink> 产品定价——业务流程

在使用阿里云实时计算 Flink前,对流式数据处理整体全链路有初步的认识可以极大方便您梳理业务流程,制定相应的系统设计方案。下面将简单介绍阿里云实时计算全流程系统架构。 数据采集  广义的实时数据采集指: 用户使用流式数据采集工具将数据实时地采集并传输到大数据Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。

大数据 架构 RDS 日志 高可用 数据流 数据迁移 同步 流式计算 数据订阅 云服务 物联网 IOT 数据采集 MaxCompute

实时计算Flink——发展历程

起源:脱胎于双十一实时大屏业务 实时计算 Flink脱胎于阿里巴巴集团内部双十一实时大屏业务,在阿里巴巴集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经多年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。

大数据 SQL 数据分析 流式计算 xml 编程

实时计算Flink——基本概念

产品模型 项目空间(Project) 项目空间是实时计算 Flink最基本的业务组织单元,是您管理集群、作业、资源、人员的基本单元。您可以选择创建项目,也可以用子账号身份加入其它Project中。实时计算的项目空间,通过阿里云RAM主子账号支持多人协作。

大数据 消息服务 RDS 函数 SQL 数据处理 流式计算 云数据库 数据采集 UDF 表格存储 数据存储

实时计算Flink——产品安全

实时计算 Flink支持整体全链路实时计算的安全。 账号安全 账号安全分为实时计算账号安全以及数据存储账号安全,下面分别阐述。 实时计算账号安全 实时计算账号当前仅支持阿里云账号体系(包括登录用户名+密码或签名密钥)。

安全 数据安全 流式计算 系统安全 存储 业务安全 账号安全 数据存储

实时计算Flink——产品定位

实时计算 Flink提供Flink SQL,协助您简单轻松完成流式计算逻辑的处理。实时计算 Flink提供的全功能的UDF函数,能够帮助您完成定制化业务的数据处理逻辑。在流数据分析领域,Flink SQL和UDF能够完成大部分流式数据分析处理逻辑。

函数 Oracle SQL 数据处理 数据分析 spark 流式计算 开发工具 UDF 存储过程 流计算 规则引擎 流数据

实时计算Flink——产品特点

产品特点 相较于其他流计算产品,阿里云实时计算提供极具竞争力的产品优势。您可以充分利用实时计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。 强大的实时处理能力 不同于其他开源流计算中间件只提供粗陋的计算框架,大量的流计算细节需要业务人员重新实现。

大数据 监控 函数 SQL 数据处理 集群 流式计算 数据存储 流计算 大数据分析 流数据

下一代大数据处理引擎,阿里云实时计算独享模式重磅发布

11月14日,阿里云重磅发布了实时计算独享模式,即用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立,是实时计算在原有共享模式基础上的重大升级。(观看实时计算发布会直播:https://yq.aliyun.com/live/591) 独享模式优点更加突出1、UDX开放:实时计算的共享模式是多个用户共享一个物理机群,在网络/磁盘层面没有办法做到完全隔离。

云栖社区 大数据 SQL 数据处理 流式计算 异构数据 大数据分析 流数据

取之开源,用之开源-深度剖析阿里巴巴对Flink的优化与改进

作者 | 阿里巴巴实时计算团队 导读:随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里巴巴选择 Flink 的背景和初衷。彼时的 Fl

大数据 架构 SQL 阿里技术协会 集群 流式计算 数据结构 流计算 flink 实时计算

11
GO