1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. L>
  5. 流计算

当前主题:流计算

数据中台之结构化大数据存储设计

前言 任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因,数据处理的技术已经是核心竞争力。在一个完备的技术架构中,通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑,而

阅读全文

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键

阅读全文

阿里云oss如何通过MultipartUpload向OSS上传大文件?

今天向大家介绍如何通过MultipartUpload向OSS上传大文件,这里我们采用的是SDK中包含的OSSMultipartSample.java这个文件中的示例代码进行操作。除了PutObject中的基本设置之外,MultipartUpload还需要一些

阅读全文

Flink 网络传输优化技术

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟

阅读全文

Tablestore + Blink实战:交易数据的实时统计

背景 交易数据的实时统计是电商网站一个核心功能,可以帮助用户实时统计网站的整体销售情况,快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算,给大家提供一个新使用方式。 Tablestore作为在线的结构化

阅读全文

Flink/Spark 如何实现动态更新作业配置

该文章已经加入 2019年大数据文章精选 由于实时场景对可用性十分敏感,实时作业通常需要避免频繁重启,因此动态加载作业配置(变量)是实时计算里十分常见的需求,比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见,实现起来却并没有那么简单,

阅读全文

小红书如何实现高效推荐?解密背后的大数据计算平台架构

作者:郭一 整理:董黎明 本文整理自2019阿里云峰会·上海开发者大会开源大数据专场中小红书实时推荐团队负责人郭一先生现场分享。小红书作为生活分享类社区,目前有8500万用户,年同比增长为300%,大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核

阅读全文

谈谈流计算中的『Exactly Once』特性

作者:宝牛 本文翻译自 streaml.io 网站上的一篇博文:“Exactly once is NOT exactly the same” ,**分析了流计算系统中常说的『Exactly Once』特性,主要观点是:『精确一次』并不保证是完全一样**。主要

阅读全文

流计算相关问答

查看更多 提问题

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs? https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么? https://yq.aliyun.co

阅读全文

flink每分钟滚动和滑动窗口能不能join在一起啊?

转自钉钉群21789141:flink每分钟滚动和滑动窗口能不能join在一起啊?

阅读全文

用 RocksDBStateBackend 时出现了这个错误

转自钉钉群21789141: ![3](https://yqfile.alicdn.com/7fb83d8622973ce09879cd96c5e7e80310d20b53.png) 用 RocksDBStateBackend 时出现了这个错误

阅读全文

设置了flink source的 parallelism 为4,会直接造成flink启动4个taskmanager吗?

转自钉钉群21789141:设置了flink source的 parallelism 为4,会直接造成flink启动4个taskmanager吗?

阅读全文

Job倒了如何自动重新启动呢?

转自钉钉群21789141:Job倒了如何自动重新启动呢?blink没倒就是job抛出异常停了

阅读全文

请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

转自钉钉群21789141:请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发

阅读全文

请问Flink on Yarn的模式是否需要部署Flink 集群?个人理解下来,Flink on Yarn会从启动session的节点上传jar和配置文件,但是每次想到spark on yarn部署了集群心里总是不安。还请在生产中使用Flink的前辈确认一下,谢谢!

转自钉钉群21789141:Flink on Yarn的模式是否需要部署Flink 集群?个人理解下来,Flink on Yarn会从启动session的节点上传jar和配置文件,但是每次想到spark on yarn部署了集群心里总是不安。还请在生产中使用F

阅读全文

State Backend中backend是什么意思,是存储的意思吗

转自钉钉群21789141:State Backend中backend是什么意思,是存储的意思吗

阅读全文

1533031208314616不断超越的调度系统:如何撑住9年双11交易峰值800倍增长文章中评论
www.hycsk.com 学习路过!
1533031208314616幸好,赶在重庆云栖大会之前出道了!文章中评论
学习了 不错
小和子茶SSM项目中配置问题文章中评论
云栖社区管理员:您的文章中存在格式错误,请及时修改
it菲菲Dubbo 学习文章中评论
感兴趣的可以朋友企鹅二零四二八四九二三七
it菲菲springmvc+mybatis+dubbo+zookeeper分布式架构 整合 - maven构建ant-framework框架的pom.xml文件配置文章中评论
希望可以帮助到你们哦
壹玖SSM项目中配置问题文章中评论
喜欢文章的朋友可以持续关注内容更新