1. 云栖社区>
  2. 全部标签>
  3. #实时计算#
实时计算

#实时计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

速度收藏!看完这份知识图谱,才算搞懂 Flink!

社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

大数据 storm Apache 数据处理 编程 html 流计算 flink 实时计算 知识图谱

从开发到生产上线,如何确定集群规划大小?

在 Flink 社区中,最常被问到的问题之一是:在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”,但这并非一个有用的答案。本文概述了一系列的相关问题,通过回答这些问题,或许你能得出一些数字作为指导和参考。

大数据 数据处理 集群 磁盘 流计算 flink 实时计算 集群规模

百万TPS高吞吐、秒级低延迟,阿里​搜索离线平台如何实现?

阿里主搜(淘宝天猫搜索)是搜索离线平台非常重要的一个业务,具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战,搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢?

大数据 性能 数据处理 同步 搜索引擎 阿里 数据存储 flink 实时计算

来!PyFlink 作业的多种部署模式

关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发,比如,如何使用各种算子(Join/Window/AGG etc.),如何使用各种 Connector(Kafka, CSV, Socket etc.),还有一些实际的案例。

python 大数据 docker hadoop Apache 数据处理 集群 容器 流计算 flink 实时计算

最新消息!Cloudera 全球发行版正式集成 Apache Flink

近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品,Apache Flink PMC Chair Stephan 也回应:“此举意义重大。

大数据 Apache 数据处理 数据流 集群 流计算 cloudera flink 实时计算 流数据

实至名归!Flink 再度成为 Apache 基金会最活跃的开源项目

2019 年对 Apache 软件基金会(简称 ASF)来说,依然是伟大的一年:它标志着开源领导“Apache 之道”(The Apache Way)的 20 年。ASF 的口号,“社区重于代码”(Community Over Code),贯穿于其所做的每一件事,全球有数十亿人受益于价值 200 多亿美元的社区主导的软件,100% 免费提供。

大数据 Apache 数据处理 Netbeans 流计算 flink 实时计算

Flink Weekly | 每周社区动态更新 - 20200114

本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

大数据 postgres Apache 数据处理 数据库 events 配置 测试 schema html 流计算 flink 实时计算 Weekly

小米流式平台架构演进与实践

小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。

大数据 架构 监控 消息队列 SQL 模块 数据处理 配置 平台架构 spark 流式计算 流计算 flink 实时计算 实时数仓

基于 Flink 构建 CEP 引擎的挑战和实践

奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考

大数据 网络安全 算法 监控 性能 数据处理 集群 正则表达式 序列 自我保护 流计算 flink 实时计算 CEP

实时计算在贝壳的实践

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。

大数据 架构 函数 SQL 模块 数据处理 数据流 存储 数据统计 流计算 flink 实时计算 实时数仓

过年走亲访友打麻将?不如来玩玩阿里云大数据产品交互式分析

爱学习的你,过年在家怎么能错过阿里云大数据产品交互式分析呢?

云栖社区 大数据 PostgreSQL Image 钉钉 aliyun MaxCompute Blink 实时计算 DataWorks BI工具 离线数据 大数据生态

阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

众所周知 Flink 是当前广泛使用的计算引擎,Flink 使用 checkpoint 机制进行容错处理[1],Flink 的 checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。

分布式 大数据 hdfs 分布式存储 SST 流计算 flink 实时计算 文件处理

Flink Weekly | 每周社区动态更新

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。

大数据 SQL Apache 数据处理 html 流计算 flink 实时计算 Weekly

Flink Weekly | 每周社区动态更新 - 2019/12/31

主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

大数据 监控 性能优化 SQL Apache 数据处理 高可用 配置 钉钉 html 流计算 flink 实时计算

美团点评基于 Flink 的实时数仓平台实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。

大数据 日志 数据处理 平台架构 OLAP UDF 存储 流计算 flink 实时计算

携程实时智能检测平台建设实践

rophet基本覆盖了携程所有业务线,监控指标的数量达到10K+,覆盖了携程所有订单、支付等重要的业务指标。Prophet将时间序列的数据作为数据输入,以监控平台作为接入对象,以智能告警实现异常的告警功能,并基于Flink实时计算引擎来实现异常的实时预警,提供一站式异常检测解决方案。

深度学习 大数据 算法 监控 消息队列 数据处理 配置 AI 流计算 flink 实时计算

年度回顾 | 2019 年的 Apache Flink(文末有福利)

2019 年即将落下帷幕,这一年对于 Apache Flink 来说是非常精彩的一年,里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件,JIRA 中超过 4 千个 tickets,以及 GitHub 上超过 3 千个 PR,Apache Flink 迎来了快速的发展。

大数据 SQL Apache 数据处理 流计算 k8s flink 实时计算

日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。

大数据 hbase 数据处理 数据仓库 存储 流计算 实时计算 用户画像 用户流失

大数据平台架构设计探究

本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。

大数据 架构 模块 数据仓库 平台架构 离线计算 数据采集 oschina 架构设计 lambda架构 实时计算

今天聊聊怎么给表写入数据

上期给大家将了,如何在交互式分析中高效建表,并构建表索引以及给表设置属性,以期在同等资源情况下,能更快的查询到表数据。今天小编就来为大家讲讲如何把数据写入进表里。

云栖社区 数据存储与数据库 大数据 PostgreSQL 性能 SQL 钉钉 aliyun 分区表 MaxCompute 实时计算 DataWorks 交互式分析 建表 写数据

8
GO