1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

实时即未来?一个小微企业心中的流计算

本文由墨芷技术团队唐铎老师分享,主要讲述其技术团队内部引入流计算的整个过程,包括最初的决策、期间的取舍以及最终落地,一路走来他们的思考、感悟以及经验分享。

电商 string 流计算

图文详解:DataHub产品概述

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。

飞天 数据处理 高可用 Image 流式计算 aliyun html 流计算 MaxCompute 流数据

如何从 0 到 1 参与 Flink 社区?

本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么,然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。

大数据 Apache 模块 数据处理 测试 git Commit github 流计算 flink 实时计算

Flink 1.10 Container 环境实战

本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8S 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享,介绍我们遇到的问题、踩过的坑;最后一部分是 Demo,将手把手演示集群部署、任务提交等等。

大数据 性能 日志 数据处理 配置 集群 云服务 流计算 k8s flink 实时计算

数仓系列 | Flink 窗口的应用与实现

本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

大数据 架构 函数 数据处理 编程 存储 流计算 flink 实时计算 实时数仓

这场大数据+AI Meetup,一次性安排了大数据当下热门话题

6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

大数据 算法 Apache 数据处理 数据仓库 spark AI 流计算 flink 实时计算

Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

大数据 架构 消息队列 数据处理 集群 弹性伸缩 序列 stream 存储 数据存储 流计算 flink 实时计算

Flink Weekly | 每周社区动态更新-20200520

本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

大数据 Apache 数据处理 集群 测试 runtime html 流计算 flink 实时计算

重磅!Apache Flink 1.11 功能前瞻抢先看!

Flink 1.11 版本即将正式宣告发布!为满足大家的好奇与期待,我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进,并致力于进一步提高 Flink 的可用性及性能。

python 大数据 日志 Apache 数据处理 配置 pandas UDF source 流计算 flink 实时计算

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性.

大数据 函数 SQL Apache 数据处理 scala string Hive schema 流计算 flink 实时计算

面试官:说出八种消息队列的应用场景。啊?八种?

本文来源于公众号:胖滚猪学编程。转载请注明出处! 一个风度翩翩,穿着格子衬衣的中年男子,拿着一个满是划痕的mac向她走来,看着铮亮的头,胖滚猪心想,这肯定是尼玛顶级架构师吧!完了要挂了。 结果面试官第一个问题,就让胖滚猪内心暗喜 面试官:消息队列这东西,你还熟悉吧?消息队列在企业中的应用场景有哪些? (这么基础的问题,手到擒来好吗?原来阿里不过如此。

大数据 架构 开发框架与中间件 java 消息队列 工单 同步 数据采集 流计算

回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

分布式 大数据 SQL Apache 数据处理 袋鼠云 流计算 flink 实时计算

都在这儿了!5月 Flink 社区发版、更新汇总

为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

python 大数据 Apache 内存管理 API html Gmail 培训 流计算 flink 实时计算

如何用一套引擎搞定机器学习全流程?

本文由阿里技术专家陈戊超(仲卓)分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域,此外还在向社会各个领域迅速渗透。

深度学习 分布式 大数据 数据处理 集群 node source 流计算 TensorFlow flink 实时计算 ML

Flink Weekly | 每周社区动态更新-20200513

大家好,本文为 Flink Weekly 的第十五期,由张成整理,李本超 Review。本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

大数据 Apache 数据处理 html 流计算 flink 实时计算

Flink 与 Hive 的磨合期

在上篇文章中,笔者使用的 CDH 版本为 5.16.2,其中 Hive 版本为 1.1.0(CDH 5.x 系列 Hive 版本都不高于 1.1.0,是不是不可理解),Flink 源代码本身对 Hive 1.1.0 版本兼容性不好,存在不少问题。

大数据 SQL Apache 数据处理 数据库 配置 spark string Hive type 存储 流计算 flink 实时计算

Flink 1.10 细粒度资源管理解析

对于作业规模不大的普通用户而言,这些通常在可以接受的范围之内,但对于上千并行度的大作业来说,浪费资源的总量会非常可观,而且进程的不稳定性导致的作业恢复时间也会比普通作业长得多,因此阿里巴巴的 Blink 团队针对内存管理机制做了大量的优化,并于近期开始合并到 Flink。

大数据 线程 数据处理 配置 内存管理 流计算 实时计算

扎心!天天写代码,方向真的对吗?

每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。

大数据 hadoop Apache 数据处理 spark Mapreduce 流计算 海量数据 flink 实时计算

33
GO