结合 Apache Kafka 生态系统,谈谈2018年机器学习五大趋势

  1. 云栖社区>
  2. 数据和云>
  3. 博客>
  4. 正文

结合 Apache Kafka 生态系统,谈谈2018年机器学习五大趋势

技术小能手 2018-04-19 10:23:46 浏览2260
展开阅读全文

本博文的主要内容与我在 Confluent Blog 中写的关于 Apache Kafka 生态系统和机器学习文章一样,但这里我更关注深度学习/神经网络。我还讨论了 Apache Kafka 生态系统中的一些创新以及机器学习最近几个月的趋势:Uber 和 Netflix 上的 KSQL,ONNX,AutoML 和机器学习平台。下面,让我们来看看这些有趣的平台以及它们之间是如何相互关联的。

KSQL:Apache Kafka 上的流式 SQL 语言

根据这篇文章(https://www.confluent.io/blog/ksql-open-source-streaming-sql?spm=a2c4e.11153959.blogcont507388.15.33b53218bbuEnD)可知:

“KSQL 是 Apache Kafka 上的流式 SQL 引擎,KSQL 降低了流处理领域的门槛,为 Kafka 中的数据处理提供了一个简单且完全交互的 SQL 接口,并且不再需要用诸如 Java 或 Python 编程语言编写代码!KSQL 是一个开放源码(Apache 2.0 licensed),具有分布式,可扩展,可靠和实时等特性。它支持大量的流处理操作,包括聚合,连接,窗口化,会话等等。”

你可以编写类似 SQL 查询的语句来部署可伸缩的关键型流处理 app(利用 Kafka Streams 底层技术)——这绝对是 Kafka 开源生态系统中的一大亮点。

KSQL 和机器学习

KSQL 是在 Kafka Streams 基础之上构建的,因此允许构建可扩展的关键型服务,它还包括神经网络在内的机器学习模型可通过构建用户自定义函数(UDF)轻松的嵌入。这些天我正在准备一个例子:将一个神经网络(更确切地说是一个自动编码器)用于传感器分析对异常进行检测,例如:实时检测病人健康检查中的健康临界值,以便向医生发送警报。

现在我们来谈谈机器学习生态系统中一些比较有意思的新发展。

ONNX:代表深度学习模式的开放版本

根据 ONNX 官网可知:

“ONNX 代表着深度学习模式的开放版本,采用 ONNX,AI 开发人员可以更轻松地在各种最先进的工具之间对模型进行迁移,并选择最适合他们的组合。”

这听起来与 PMML(预测模型标记语言,更多细节请参阅本文)和 PFA(便携式格式分析)类似,这两个标准用于定义和共享机器学习模型。然而,ONNX 在几个方面有所不同:

d47e62d2b349aca45e42305ed6714efbe5ed61d9ONNX 专注于深度学习;
d47e62d2b349aca45e42305ed6714efbe5ed61d9ONNX有几家巨型科技公司(AWS,微软,Facebook)和硬件厂商(AMD,NVidia,Intel,Qualcomm)在使用。
d47e62d2b349aca45e42305ed6714efbe5ed61d9ONNX 已经支持许多较为领先的开源框架(TensorFlow,Pytorch,MXNet)。
d47e62d2b349aca45e42305ed6714efbe5ed61d9ONNX 已经是 GA 版本1.0,并且可以在生产环境中使用(2017年12月由亚马逊,微软和 Facebook 声明)。对于不同的框架来说是一个很好的入门指南。

ONNX 和 Apache Kafka 生态系统

不幸的是,ONNX 还不支持 Java。 因此,目前还不支持将它嵌入到 Kafka Streams Java API 本地——只能通过一种解决方法:执行 REST 调用或嵌入 JNI 绑定。但我相信这只是时间问题,因为 Java 平台对许多企业部署关键任务应用程序来说非常重要。

现在,你可以使用 Kafka 的 Java API 或其他 Kafka 客户端。Confluent Blog 为多种编程语言提供了官方客户端,如 Python 或 Go,这两种编程语言都适用于机器学习应用程序。

自动机器学习(AKA AutoML)

如此处所述:

“自动机器学习(AutoML)是一个炙手可热的新领域,旨在使您轻松选择不同的机器学习算法,其参数设置和预处理方法提高了在大数据中检测复杂模式的能力。”

使用 AutoML,你不需要学习任何关于机器学习的知识就可以构建分析模型。 AutoML 使用决策树、聚类、神经网络等不同的实现方式来构建和比较不同模型,AutoML 支持即开即用。你只需要上传或连接历史数据集,然后单击几个按钮即可启动该过程——不一定对于每种用例来说都是完美的,但是你可以很轻松的改进许多现有的流程,而无需使用罕见且昂贵的数据科学家。

DataRobot 和 Google AutoML 是这个领域众多知名云产品中的两个。H2O AutoML 被集成到其开源的机器学习框架中,同时它们也提供了一个非常好的基于UI的商业产品,称为无人驾驶汽车AI。我强烈建议在任何一个 AutoML 工具上花费30分钟的时间来研究下,来看看现在的人工智能工具如何发展,这真的很吸引人。

AutoML 和 Apache Kafka 生态系统

大多数 AutoML 工具都提供了模型的部署。你可以访问分析模型,即通过一个 REST 接口,而不是像 Kafka 可扩展的事件驱动架构这样的的完美解决方案。 有一个好消息就是:许多 AutoML 解决方案还允许导出其生成的模型,以便将它们部署到你的应用程序中。例如,在 H2O 开源框架中的 AutoML 只是众多选择之一。您只需在你选择的编程语言(R,Python,Scala,Web UI)中使用另外一个操作:

b3be2f21ace6499702c025264edff8a49f95bc6c

这和构建线性回归方法、决策树或神经网络比较类似。其结果是生成的 Java 代码,你可以很轻松地将其嵌入到 Kafka Streams 微服务或任何其他的 Kafka 应用程序中去。借助 AutoML,你无需对机器学习有特别深入的了解,同样也可以构建和部署高度可扩展的机器学习。

ML 平台:Uber 的 Michelangelo 平台; Netflix 的 Meson 平台

科技巨头通常比“传统企业”早几年,他们早在几年前就已经建立了你今天或明天想要建造的东西。同样,ML 平台也不例外。编写一个来训练分析模型的机器学习源代码只是真实世界 ML 基础设施中非常小的一部分。你需要考虑整个开发过程,下图显示了 ML 系统中隐藏的技术结构:

61efda79ad096df0aed89a6b26f36523c6965a3c

你可能会用不同的技术来构建几个分析模型,并非所有内容都将在你的 Spark、Flink 聚类或单个云基础架构中构建。你可以在公共云中的一些大而昂贵的 GPU 上运行 TensorFlow 来构建强大的神经网络。又或者你可以使用 H2O 构建立一些小的,但非常有效率和高性能的决策树,它能在几微秒内做出推断。 ML 有许多应用用例。

这就是为什么许多科技巨头已经建立了自己的 ML 平台,如 Uber 的 Michelangelo 或Netflix 的 Meson。这些 ML 平台允许他们构建和监控强大的可扩展分析模型,同时也能够灵活地为每个用例选择正确的 ML 技术。

应用于 ML 平台的 Apache Kafka 生态系统

Apache Kafka 能够取得如此成功的原因之一就是它被很多科技巨头广泛使用。几乎所有伟大的硅谷公司,如 LinkedIn,Netflix,Uber 和 eBay 都在谈论他们将 Kafka 作为其关键任务应用的中枢神经系统。许多人专注于分布式信息流平台,但是我们也看到越来越多的附加组件被采用,如 Kafka Connect,Kafka Streams,REST Proxy,Schema Registry 以及 KSQL。

再看看上面的图片,想一想:Kafka 不适合 ML 平台吗?它可以进行训练,监控,部署,推理,配置,A / B 测试等。这也许就是 Uber,Netflix 和其他许多公司已经将 Kafka 作为 ML 基础设施核心组件的原因。

610d8530334ab8f1b498dd19be372aa8269ba6ee

这一次,你不会被迫只使用一种特定的技术。Kafka 最棒的设计理念之一就是:你可以一次又一次地从它的分布式提交日志中重新处理数据,这就意味着可以使用一种技术构建不同的模型作为 Kafka 接收器(比如 Apache Flink 或 Spark),或者连接不同的技术,如:用于本地测试的 scikit-learn,运行在 Google Cloud GPU 上实现强大的深度学习的 TensorFlow,用于 AutoML 的 H2O 节点的部署安装,以及其它的部署在 Docker 容器或 Kubernetes中 Kafka Streams ML 的一些应用程序。所有这些 ML 应用程序都会按照自己的步调并行地使用数据,不过他们经常性的必须这么做。

这个例子很好的说明了如何使用 Kafka 和 Kafka Streams 来自动训练以及对可扩展 ML 微服务的部署。它没有必要再添加另一个大数据集群,这就是在你的 ML 应用程序上使用 Kafka Streams 或 KSQL 代替其他流处理框架的主要区别之一。

Apache Kafka 和深度学习:OOP 会议上的幻灯片

在对 Apache Kafka 生态系统和机器学习/深度学习的新趋势的所有讨论的同时,也展示了作者在 OOP 2018 会议上的演讲中展示幻灯片,幻灯片请点击此处观看(https://dzone.com/articles/5-machine-learning-trends-2018-combined-with-apach?spm=a2c4e.11153959.blogcont507388.34.493e3218ggyLiJ)。

我还使用了 Apache Kafka,Kafka Streams 以及不同的开源ML框架(如H2O,TensorFlow 和 DeepLearning4j(DL4J))构建了一些示例。GitHub 项目显示了将分析模型部署到高度可扩展的容错任务关键型 Kafka 微服务上是一件很容易的事。我们也很快将会推出一个 KSQL 演示。


原文发布时间为:2018-04-18

本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“数据和云”。

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 数据和云