+ 关注 提问 已有0人关注此标签
作者: 阿里云实时计算Flink 991人浏览
Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用,通过内部的 Java JIT、off-heap 内存管理等技术优化性能,并且有完整的 Source、Sink、WebUI、Metrics 等功能集成,让 Flink 几乎成为了流式计算的事实标准。
java 性能优化 性能 日志 agent 流式计算 git CPU svg github
作者: 数据中台君 1003人浏览
从整体上看,数据中台体系架构可分为:数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。
大数据 架构 日志 钉钉 流式计算 解决方案 云平台 数据采集 alibaba 数据存储 海量数据
作者: 数据中台君 49人浏览
相对于离线批处理技术,流式实时处理技术作为一个非常重要的技术补充,在阿里巴巴集团内被广泛使用。
大数据 架构 数据处理 流式计算 aliyun
作者: 小生生 620人浏览
阿里云E-MapReduce(Elastic MapReduce),是运行在阿里云平台上的一种大数据处理的系统解决方案。
大数据 hadoop 云服务器 Apache 性能监控 配置 集群 spark 流式计算 aliyun 解决方案 e-mapreduce 数据存储
作者: 云栖号资讯小编 630人浏览
这篇文章,我们借助一个微博程序员的视角,来看看当发生明星出轨、结婚、分手等热点事件时,咱们程序员兄弟应该如何设计系统架构,才能扛住这瞬间高峰的粉丝流量。
架构 程序员 数据库 集群 Image 流式计算
作者: 阿里云实时计算Flink 29人浏览
我参与社区主要是从19年下半年开始的,最开始主要是汇报一些使用过程中遇到的 bug,并且会力所能及的去修复它。与此同时也一直在关注 user 和 dev 邮件列表,一方面了解社区的最新进展和未来发展方向;一方面也在从其他人的提问和回答中学习经验。
SQL 流式计算
作者: 阿里云E-MapReduce团队 245人浏览
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
分布式 大数据 监控 Apache 钉钉 spark 流式计算 分布式计算
作者: 云栖号资讯小编 1114人浏览
本文对大数据技术知识体系进行划分,共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理,进行相关的阐述说明,并列出目前业界主流的相关框架、系统、数据库、工具等。
分布式 大数据 架构 数据处理 数据库 数据仓库 集群 Image 流式计算 数据同步 分布式系统 分布式存储 数据采集 存储 海量数据
作者: 小生生 239人浏览
阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。
飞天 数据处理 高可用 Image 流式计算 aliyun html 流计算 MaxCompute 流数据
作者: 小生生 202人浏览
流数据分析 是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的 流数据分析 ,继承了物联网平台的 流数据分析 能力。
函数 SQL 控制台 流式计算 aliyun 物联网 html 流数据
作者: skin778 966人浏览
作者:惊玄
大数据 架构 数据处理 数据仓库 数据分析 流式计算 解决方案 权限管理 异构数据 存储 流计算 数据管理 数据应用
作者: 五维空间s 192人浏览
在做流式计算过程中,最复杂最难做的莫过于数据幂等性修改操作的设计。先解释一下概念【幂等性操作】,幂等性概念来源于数学专业表示对一个表达式做多次相同的操作,表达式不会改变。例如:逻辑回归中的Sigmod函数,n次求导之后依然坚挺。
hbase hdfs 线程 spark 流式计算 表达式
作者: 袋鼠云 1132人浏览
导语 2020年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。
大数据 数据库 数据流 数据分析 袋鼠云 同步 流式计算 url 离线计算 数据采集 数据存储 推荐系统 流数据
作者: 云栖号资讯小哥 1265人浏览
Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期,Flink 是做 Batch 计算的,但是在 2014 年,StratoSphere 里面的核心成员孵化出 Flink,同年将 Flink 捐赠 Apache,并在后来成为 Apache 的顶级大数据项目,同时 Flink 计算的主流方向被定位为 Streaming,即用流式计算来做所有大数据的计算。
大数据 消息队列 Apache 数据处理 数据流 流式计算 netty 存储
作者: 开源大数据EMR 1030人浏览
本文简述了核桃编程应用EMR建设Delta Lake实时数仓的实践。
大数据 架构 SQL Image 同步 流式计算 数据同步 编程 分区表 source