1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. L>
  5. 流式

当前主题:流式

spark streaming 流式计算-----容错(hbase幂等性修改)

在做流式计算过程中,最复杂最难做的莫过于数据幂等性修改操作的设计。先解释一下概念【幂等性操作】,幂等性概念来源于数学专业表示对一个表达式做多次相同的操作,表达式不会改变。例如:逻辑回归中的Sigmod函数,n次求导之后依然坚挺。在流式计算中容错设计也要求工程

阅读全文

专为流式数据设计的另一种缓存:流式缓存技术解读

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 1 前言 传统的缓存解决方案将每一个缓存项都当作一个不可变的数据块对待,这在重度追加的注入工作负载上会产生很多问题,而这种模式的负载在 Pravega 上却

阅读全文

流式计算

从spark 说起,谈谈“流式”计算的理解 spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念: 并行计算 Map Reduce 算子 RDD数据结构 并行计算 spark的任务分为1个dr

阅读全文

小米流式平台架构演进与实践

作者:夏军@小米 小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据

阅读全文

探寻流式计算

一、静态数据和流数据 静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。 流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息) 流数据具有以下特点: (1)、数据快速持续到达,潜在大小

阅读全文

现代流式计算的基石:Google DataFlow

0. 引言 今天这篇继续讲流式计算。毫无疑问,Apache Flink 和 Apache Spark (Structured Streaming)现在是实时流计算领域的两个最火热的话题了。那么为什么要介绍 Google Dataflow 呢?***Strea

阅读全文

双11数据大屏背后的秘密:大规模流式增量计算及应用

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 摘要:回顾大

阅读全文

双11数据大屏背后:大规模流式增量计算及应用(附资料)

首先从理解什么是数据流开始今天的分享,其实在真实的世界中,大部分的数据都是连续产生的数据流,比如手机上产生的GPS信号、用户在互联网上的行为、在线搜索、用户的点击、社交网络分享、即时通信以及一些传感器和物联网设备采集的日志信息等,这些数据都是连续产生的,自然

阅读全文

流式相关问答

查看更多 提问题

Java 日志服务如何使用流式计算消费?

需求说明:需要记录用户访问时间,url,请求参数,用户id,来定时更新用户的最近访问时间(DB中) 使用Java SDK实现了日志服务的实时采集,如何通过流式计算来消费? 具体:spark streaming与streamCompute消费的区别?流式消费

阅读全文

Aapche flink:PythonAPI实现流式计算无法引入三方模块

想利用flink提供的PythonAPI实现流式计算,碰到下面无法导入三方包的问题. 通过flink安装包提供的shell命令执行Python脚本无法引用三方模块 ,但通过Python命令进入可以引入kafka模块 ./bin/pyflink-stre

阅读全文

关于流式计算

请问阿里用的流式计算 框架是storm吗

阅读全文

[@墨玖tao][¥20]为什么流式处理框架都是 java 写成的,JVM 是不是在流和批存在着特殊优势。还有分布式资源调度,感觉Mesos 的成长速度跟不上 Yarn。这是为什么?

为什么流式处理框架都是 java 写成的,JVM 是不是在流和批存在着特殊优势。还有分布式资源调度,感觉Mesos 的成长速度跟不上 Yarn。这是为什么?

阅读全文

Blink 是不是主要是流式SQL 呢!昨天大概听了个课程

转自钉钉群21789141:blink 是不是主要是流式SQL 呢!昨天大概听了个课程

阅读全文

使用apache flink从google pub / sub流式传输

我花了大约几个小时来找到一种使用apache-flink从google pub / sub流式传输的方法。apache-flink是否支持从google pub / sub流式传输?如果是的话,我该怎么做?

阅读全文

流式SQL目前有规范吗?一直在用KSQL,没觉得Flink目前在这块比KSQL有什么优势。

转自钉钉群21789141:流式SQL目前有规范吗?一直在用KSQL,没觉得Flink目前在这块比KSQL有什么优势。

阅读全文

Spark从本地文件流式传输到hdfs。textFileStream

我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录,并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是,当我开始流式传输时,没有任何事情发生。我检查了日志,但我没有得到提示。 让我解释一下这个场景。s

阅读全文