1. 云栖社区>
  2. 全部标签>
  3. #ApacheFlink#
ApacheFlink

#ApacheFlink#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Apache Flink 进阶(八):详解 Metrics 原理与实战

Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业的情况下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。

大数据 监控 性能 线程 Apache 数据处理 Group Mapreduce 自动化运维 流计算 实时计算 Metrics ApacheFlink

开源大数据生态下的 Flink 应用实践

11 月 28-30 日,Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的优秀实践。

大数据 SQL Apache 流式计算 开源大数据 Hive 培训 流计算 数据管理 实时计算 ClickHouse ApacheFlink

趣头条基于 Flink 的实时平台建设实践

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,整理者叶里君。文章将从平台的架构、Flink 现状,Flink 应用以及未来计划四部分分享。

大数据 架构 SQL 数据流 配置 集群 平台架构 Server 流计算 TensorFlow 实时计算 ApacheFlink 实时平台

Apache Flink 的迁移之路,2 年处理效果提升 5 倍

在 2017 年上半年以前,TalkingData 的 App Analytics 和 Game Analytics 两个产品,流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度,对于不同的任务只需要实现一个 changer 链即可,并且支持水平扩展,性能尚可,曾经可以满足业务需求。

大数据 性能 Apache 数据流 配置 cluster 集群 network 流计算 Standalone 实时计算 ApacheFlink Exactly-once

咱们从头到尾讲一次 Flink 网络流控和反压剖析

文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制(before V1.5)、Flink Credit-based 反压机制 (since V1.5)、总结与思考等几个方面进行分享。

大数据 数据处理 TCP 网络 Consumer netty Socket network 流计算 实时计算 流控 ApacheFlink 反压机制

企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题?

业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验。

深度学习 大数据 机器学习 SQL Apache 数据处理 培训 流计算 实时计算 金融科技 ApacheFlink CEP

Ververica Platform-阿里巴巴全新Flink企业版揭秘

本文主要从Ververica由来开始谈起,着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini,以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。

大数据 数据处理 集群 流式计算 插件 存储 流计算 实时计算 云原生 ApacheFlink Ververica

深入了解 Flink 网络栈(二):监控、指标和处理背压

在之前的文章中,我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章,本文将在第一篇的基础上更进一步,主要探讨如何监视与网络相关的指标,从而识别背压等因素带来的影响,或找出吞吐量和延迟的瓶颈所在。

大数据 监控 线程 流计算 实时计算 ApacheFlink 网络栈 指标 处理背压

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。

大数据 监控 微博 日志 配置 数据仓库 stream 存储 数据存储 日志处理 实时计算 ApacheFlink 计算方案

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践

本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。

大数据 架构 Apache 数据处理 高可用 配置 镜像 集群 session 流计算 实时计算 ApacheFlink

Flink 实时写入数据到 ElasticSearch 性能调优

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。

大数据 java 性能 线程 数据处理 配置 集群 索引 Elasticsearch CPU index 流计算 实时计算 ApacheFlink

Apache Flink 进阶(五):数据类型和序列化

本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。

大数据 java Apache 数据处理 存储 数据类型 流计算 序列化 ApacheFlink

一文带你了解 Flink Forward 柏林站全部重点内容

阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和2个问答环节。在这里,我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考,希望对感兴趣的同学有所帮助。

数据处理 Image stream 流计算

一文带你了解 Flink Forward 柏林站全部重点内容

阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和2个问答环节。在这里,我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考,希望对感兴趣的同学有所帮助。

大数据 Image stream 流计算 实时计算 ApacheFlink FlinkForward

Flink Kafka Connector 与 Exactly Once 剖析

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。

大数据 数据处理 Consumer 流计算 实时计算 ApacheFlink

重磅揭晓!Flink Forward Asia 2019 议程完整出炉

60 年前,人工智能的诞生刷新了人类对技术的期待;过去 10 年,大数据、云计算等核心技术的发展,推动了整个社会的重构与革新;5 年时间,移动互联网从诞生到逐步实现万物互联,数据在现实中的边界正在不断被拓展;技术迭变的进程不断加快,新兴技术的涌现昼夜不停。

深度学习 大数据 Apache 人工智能 开源大数据 培训 流计算 ApacheFlink 实时技术 FlinkForwardAsia

Apache Flink 进阶入门(二):Time 深度解析

Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。

大数据 Apache 数据处理 数据流 Processing API timestamp 流计算 实时计算 ApacheFlink

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。

大数据 监控 SQL 日志 线程 Apache 数据处理 配置 集群 Elasticsearch 流计算 实时计算 ApacheFlink

回顾 | Apache Flink Meetup ·上海站(附PPT下载链接)

9 月 7 日,Apache Flink Meetup 上海站,上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容,并有 Demo 演示环节。

深度学习 大数据 性能优化 Apache 数据处理 集群 平台架构 Hive demo 流计算 大数据分析 实时计算 ApacheFlink

2
GO