Flink Weekly | 每周社区更新-12/24

2019-12-24 1597

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，5000CU*H 3个月

简介： 本期的主要内容包括：发布 Flink 1.10 和 Flink 1.9.2 的更新，关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论，PyFlink 后期新功能的讨论以及一些博客文章。

作者：程鹤群（军长）

Apache Flink 中文邮件列表中的 Flink Weekly 周报，计划每周一期，内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等，欢迎持续关注～

本期的主要内容由 Hequn Cheng 整理，包括：发布 Flink 1.10 和 Flink 1.9.2 的更新，关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论，PyFlink 后期新功能的讨论以及一些博客文章。

Flink开发

[releases] Kostas Kloudas 建议在 feature-freeze 期间，关注下1.10新功能的文档。他创建了一个总 umbrella issue（FLINK-15273）来跟踪未完成的文档任务。 [1]
[releases] Hequn 展开了一个启动Flink 1.9.2发布的讨论。本周解决了一个 blocker，还剩一个blocker。考虑到正在进行的1.10版本以及社区的资源有限，计划在圣诞节后进行1.9.2的投票。[2]
[releases] Patrick 建议将 Flink Docker 映像发布集成到Flink发布过程中。目前的争论点是是否要为发布 Docker 镜像的 Dockerfiles 提供专门的 git repo。[3]
[sql] 关于在 Flink SQL 中支持 JSON 函数的讨论似乎已经达成共识。 Jark Wu 建议 Forward Xu 开始 Flip 投票。[4]
[runtime] 在试用了新的 FLIP-49 内存配置之后，Stephan 进行了讨论并提供了一些反馈。他提供了一些关于配置键名称和描述的改进意见。目前收到了许多其他人的赞同。 [5]
[connectors] Flip-27（新的 source 接口）的讨论本周有了一些更新。本周讨论的重点是“有界和无界”的概念。 [6]
[pyflink] Jincheng 展开了一个讨论，意在和社区一起讨论 PyFlink 接下来希望支持的功能。目前有一个人回复，期待 PyFlink 能更好地集成 Jupyter。 [7]

已知缺陷

[FLINK-15262] [1.10.0] kafka connector doesn't read from beginning immediately when 'connector.startup-mode' = 'earliest-offset'. [8]
即使设置了'connector.startup-mode' = 'earliest-offset'的配置项，Kafka 的 connector 也没有从最开始的点位消费。
[FLINK-15300] [1.10.0] Shuffle memory fraction sanity check does not account for its min/max limit. [9]
如果我们有一个设置 shuffle memory 最小/最大值的配置，但是分数超出最小/最大范围，则完整性检查（TaskExecutorResourceUtils＃sanityCheckShuffleMemory）可能会失败。
[FLINK-15304] [1.11.0] Remove unexpected Hadoop dependency from Flink's Mesos integration. [10]
目前 Hadoop 依赖存在于 Flink 的 Mesos 集成中，需要去掉。
[FLINK-15313] [1.10.0] Can not insert decimal with precision into sink using TypeInformation. [11]
如果 Insert 到一张带有 Decimal 类型的表，并且 Decimal 类型包含精度，那么目前 Flink 会抛出异常。
[FLINK-15320] [1.10.0] JobManager crashes in the standalone model when cancelling job which subtask' status is scheduled. [12]
Standalone 集群下，如果 cancel 一个子 task 的状态是 scheduled 的作业，JobManager 会崩溃。

Philip Wilcox 发布了一个博客，介绍 Bird 公司内他们如何使用 Flink 检测离线踏板车。该博客主要分享一些如何解决实际业务场景中一系列棘手问题的经验，涉及 Kafka，事件时间，水印和排序。 [13]
Preetdeep Kumar 发表了一篇博文，介绍了使用 Apache Flink 处理流数据的用例和最佳实践。[14].