1. 云栖社区>
  2. 全部标签>
  3. #流式计算#
流式计算

#流式计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

数据中台交付专家告诉你,数据架构的分层怎样更加合理?

从整体上看,数据中台体系架构可分为:数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。

大数据 架构 日志 钉钉 流式计算 解决方案 云平台 数据采集 alibaba 数据存储 海量数据

连载:阿里巴巴大数据实践—实时技术

相对于离线批处理技术,流式实时处理技术作为一个非常重要的技术补充,在阿里巴巴集团内被广泛使用。

大数据 架构 数据处理 流式计算 aliyun

一文告诉你什么是E-MapReduce

阿里云E-MapReduce(Elastic MapReduce),是运行在阿里云平台上的一种大数据处理的系统解决方案。

大数据 hadoop 云服务器 Apache 性能监控 配置 集群 spark 流式计算 aliyun 解决方案 e-mapreduce 数据存储

一个微博程序员的自述:那些年因为明星出轨背的锅...

这篇文章,我们借助一个微博程序员的视角,来看看当发生明星出轨、结婚、分手等热点事件时,咱们程序员兄弟应该如何设计系统架构,才能扛住这瞬间高峰的粉丝流量。

架构 程序员 数据库 集群 Image 流式计算

字节跳动李本超:一年成为 Committer,我与 Flink 社区的故事

我参与社区主要是从19年下半年开始的,最开始主要是汇报一些使用过程中遇到的 bug,并且会力所能及的去修复它。与此同时也一直在关注 user 和 dev 邮件列表,一方面了解社区的最新进展和未来发展方向;一方面也在从其他人的提问和回答中学习经验。

SQL 流式计算

SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题

SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布

分布式 大数据 监控 Apache 钉钉 spark 流式计算 分布式计算

收藏!一张图帮你快速建立大数据知识体系

本文对大数据技术知识体系进行划分,共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理,进行相关的阐述说明,并列出目前业界主流的相关框架、系统、数据库、工具等。

分布式 大数据 架构 数据处理 数据库 数据仓库 集群 Image 流式计算 数据同步 分布式系统 分布式存储 数据采集 存储 海量数据

图文详解:DataHub产品概述

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。

飞天 数据处理 高可用 Image 流式计算 aliyun html 流计算 MaxCompute 流数据

一文告诉你什么是边缘流数据分析

流数据分析 是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的 流数据分析 ,继承了物联网平台的 流数据分析 能力。

函数 SQL 控制台 流式计算 aliyun 物联网 html 流数据

spark streaming 流式计算-----容错(hbase幂等性修改)

在做流式计算过程中,最复杂最难做的莫过于数据幂等性修改操作的设计。先解释一下概念【幂等性操作】,幂等性概念来源于数学专业表示对一个表达式做多次相同的操作,表达式不会改变。例如:逻辑回归中的Sigmod函数,n次求导之后依然坚挺。

hbase hdfs 线程 spark 流式计算 表达式

助力“新基建” | 基于StreamWorks构建实时大数据处理平台

导语 2020年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。

大数据 数据库 数据流 数据分析 袋鼠云 同步 流式计算 url 离线计算 数据采集 数据存储 推荐系统 流数据

快速起步Apache Flink,这远比我们看到的更强大

Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期,Flink 是做 Batch 计算的,但是在 2014 年,StratoSphere 里面的核心成员孵化出 Flink,同年将 Flink 捐赠 Apache,并在后来成为 Apache 的顶级大数据项目,同时 Flink 计算的主流方向被定位为 Streaming,即用流式计算来做所有大数据的计算。

大数据 消息队列 Apache 数据处理 数据流 流式计算 netty 存储

核桃编程Delta Lake实时数仓应用实践

本文简述了核桃编程应用EMR建设Delta Lake实时数仓的实践。

大数据 架构 SQL Image 同步 流式计算 数据同步 编程 分区表 source

【云栖号案例 | 互联网 】万师傅使用云产品,上手简单、开箱即用、省去运维烦恼

万师傅搭配使用Dataworks集成所有使用MaxCompute时所需要配套的功能,解决了可视化调度、智能监控告警、数据权限控制等痛点。

大数据 redis 监控 消息队列 日志 数据库 互联网 数据仓库 微服务 流式计算 MaxCompute

小米流式平台架构演进与实践

小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。

大数据 架构 监控 消息队列 SQL 模块 数据处理 配置 平台架构 spark 流式计算 流计算 flink 实时计算 实时数仓

阿里巴巴 29 个屌炸天的开源项目

众所周知,阿里巴巴是 apache基金会成员、Linux基金会成员,同时是Xen顾问委员会成员。上述身份可见阿里在开源方面的重视程度,阿里通过开源贡献更多技术、分享更多理念。其开源的很多项目大受欢迎,今日就来盘点阿里 29 个开源项目,你用过几个,哪个最好用,欢迎在留言区告诉我。

分布式 架构 java 高可用 spring 配置 微服务 中间件 容器 负载均衡 流式计算 解决方案 alibaba github

15
GO