图神经网络(AliGraph)在阿里巴巴的发展与应用

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 在大数据的背景下,利用高速计算机去发现数据中的规律似乎是最有效的手段。为了让机器计算的有目的性,需要将人的知识作为输入。我们先后经历了专家系统、经典机器学习、深度学习三个阶段,输入的知识由具体到抽象,由具体规则到特征再到模式,越来越宏观。相对来说,抽象的层次变高了,覆盖面变广了,但我们对底层的感知变弱了,模型的可解释程度变差了。事物发展往往遵循这样的规律,先有客观事实,再有原理支撑,之后是普遍推广。深度学习的应用已经让我们看到了非常可观的价值,但其背后的可解释性工作进展缓慢,也因为如此,当我们用深度学习去解决一些风控、安全等业务场景,那数字效果不足以支撑这项技术的应用,我们更需要知道结果后面的

作者:机器学习PAI 赵昆

背景

为什么做GNN?

在大数据的背景下,利用高速计算机去发现数据中的规律似乎是最有效的手段。为了让机器计算的有目的性,需要将人的知识作为输入。我们先后经历了专家系统、经典机器学习、深度学习三个阶段,输入的知识由具体到抽象,由具体规则到特征再到模式,越来越宏观。相对来说,抽象的层次变高了,覆盖面变广了,但我们对底层的感知变弱了,模型的可解释程度变差了。事物发展往往遵循这样的规律,先有客观事实,再有原理支撑,之后是普遍推广。深度学习的应用已经让我们看到了非常可观的价值,但其背后的可解释性工作进展缓慢,也因为如此,当我们用深度学习去解决一些风控、安全等业务场景,那数字效果不足以支撑这项技术的应用,我们更需要知道结果后面的原因。

Graph是知识的载体,其间的实体联系蕴含了很强的因果关系。重要的是,这是一种直观的、人们能够读懂的结构。把Graph作为知识支撑,利用深度学习的泛化技术,看上去是一个可行的方向,在某些问题上,离我们的可解释性目标更近了一步。各种深度学习相关的顶会在近年来的paper分布上,图神经网络(GNN)一直处于蓬勃态势。GNN不一定是可解释性的全部,但对于集团内复杂的生态网数据,无论从技术储备还是业务效果上来说,都是一个非常值得投入的方向。
再者说,GNN是一种解决问题的思路,覆盖范围很广,不仅仅是为了学Graph而存在。目前基于行为历史的搜索推荐类算法,都可以纳入到GNN范式,而这类算法在集团内有着大规模应用。用Graph去组织历史数据,相比现有方式信息量只增不减,理论上模型效果会更好。

面向哪些用户>

相比CNN、RNN等成熟技术而言,GNN还处于探索阶段,Graph之于GNN,不如图像之于CNN、自然语言之于RNN来的理所当然。即便有Graph数据,如何使用GNN没有可遵循的固定模式,更没有沉淀下来的类似卷积一样的算子可直接调用。GNN的有效性需要更多的场景去验证,而每一个场景都需要开发者的深入理解,开发者有能力处理Graph数据和编写之上的深度学习模型。有了百花齐放的应用场景做铺垫,才有可能抽象出共性的GNN算子,再将这些相对成熟的能力赋给使用者,GNN才会真正的推广开来。出于这些考虑,比起开发一个成熟算法供用户使用,平台当前阶段会更侧重提供API给开发者,让开发者有能力贴近自己的场景去实现GNN。

另一方面,Graph大多是场景相关,一个电商场景的图和社交网络的图有本质不同,不仅仅是数据构成上,上层的模型计算也很大程度不一样。这是另外一点与图像和自然语言的区别,后两者在不同的场景间具有较好的可复用性,或是结果可复用(FineTune),或是计算模型复用。所以GNN的应用需要更贴近场景,由开发者定制化,平台需要尽可能降低开发成本,加快模型迭代频率。

什么样的产品?

早期的GNN称为GraphEmbedding更合适,因为整个模型的输出就是顶点或边的向量化表示,如RandomWalk、Node2Vec,这些向量通过学习Graph本身得到,不涉及跟上层业务的关联。这些向量会作为业务模型的输入,构建深度神经网络。很多深度学习模型调优的经验告诉我们,端到端训练往往带来更多的效果收益,对于贴近场景解决问题的开发者来说,结合业务进行端到端训练而不是只学习Graph本身,方案更为彻底。再者,端到端会省去巨大的中间过程开销,如TB级的训练样本和向量临时存盘。退一步讲,只学习Graph本身的过程是端到端的一个特例,如果需要,完全可以退化成这样。端到端对用户是友好的,在一套IDE里,用户既可以操作复杂的Graph数据,又可以将数据与深度神经网络对接,自由编写上层模型,而不是靠多套系统的拼凑来完成。

所以,我们定位为一个GNN平台,可扩展且与生态兼容,面向GNN开发者提供一体化的解决方案,同时能将通过场景打磨的成熟算法沉淀到平台,推广GNN的应用,致力于为可解释的AI做技术储备。这是一个长期投入的过程,平台作为载体,需要厚实的底座。针对集团内现状,前期我们优先解决图数据与深度学习框架的对接,让二者高效的bridge起来,再投入到GNN编程模型的建设。

技术栈

AliGraph涵盖了从原始图数据到GNN应用的整体链路,把GNN算法的探索成本降低到和传统深度学习算法同等水平。平台可以分层来看:数据层,引擎层,应用层。

81BE04EC-966A-4308-9FB4-3B97C6CBD5FE.png

数据层,支持大规模同构图、异构图、属性图。数据无需提前build好,平台提供API来简化数据解析和建图的过程。数据层接口易扩展,方便对接不同格式、不同介质的Graph数据。

引擎层,包含Graph Engine和Tensor Engine。Graph Engine又可分为逻辑对象层与算子层。逻辑对象层,描述的是把原始数据加载到系统后展现给用户的形态是什么。每一个对象实体都会提供相关的语义接口,比如对于一个Graph对象而言,可以获取图的拓扑信息、异构程度、点边数量等。对于用户而言,实际使用中只需要声明一个逻辑对象并指定其数据源即可。

import aligraph as ag
g = ag.Graph(...)
print(g.get_topology())

算子层,在逻辑对象之上可以进行的计算操作。比如对于Graph对象而言,支持各种Sampler算子,用于对上层GNN算法提供输入。算子层具有很强的扩展性,以满足场景多样化对算子种类的需求。目前,内置支持的算子围绕GNN算法及生态展开,包括图查询、图采样、负采样、KNN等。后续我们会开放支持算子开发的SDK,允许用户自定义算子。

s = g.negative_sampler(type="by_indegree", ...)
print(s.get(ids))
Tensor Engine指深度学习引擎,如TensorFlow、PyTorch,或者其他支持Python接口的Library。Graph Engine的输出为格式对齐的NumPy对象,可无缝与深度学习引擎对接。GNN开发者可自由编写Graph之上的NN逻辑,并可与业务需求相结合,组成一个深度网络模型进行端到端训练。

应用层,强调与业务端到端结合,而非把Graph Embedding的结果割裂开使用。经场景打磨的成熟算法,也会沉淀到应用层,以算法组件的形式提供给用户。

系统实现

一体化框架

由GCN框架引申,典型的GNN编程范式可概括如下,系统是为了高效支持该范式而设计。
67F58D4F-1BF5-4792-BC1E-FDD976FFB91C.png

其中,向量化和聚合操作可以利用深度学习引擎的表达能力,因此,为实现上述计算模式,主要在于图相关的操作以及这些操作如何与深度学习引擎对接。我们将技术栈细化成如下图所示,其中Storage、Sampler、Operator是系统要解决的主要问题。信息自底向上在层与层之间前向传播,梯度则自顶向下更新每一层的参数,整个GNN应用在一张深度网络里描述。Storage层的Graph对象是逻辑存储,在其之下有一层抽象的文件接口,可适配多种数据源,这是系统具备可迁移性的前提。Sampler提供丰富的算子,且可独立扩展,不依赖系统框架,满足多样化的需求。Operator进行图语义操作的封装,把性能优化、数据对接隐藏在简洁的接口之下。
【修改】杨军-12月6日Blade.png

高效图引擎

再具体的,图引擎是连接图数据与深度学习框架的桥梁,保证数据传递的高效与稳定。这里的图操作是面向GNN的,和一般意义的图计算有很大区别。Graph Engine是一个分布式服务,具有高性能和高可用的特点,支持百亿级边的异构图在2分钟以内完成构建、十毫秒级按batch多跳跨机采样,支持从失败中状态无损的failover。Graph Engine内部深度优化了RPC过程,实现了数据零拷贝,并且Server间的连接是线程级的,在最大化带宽利用率的同时,每个线程可独立无锁的处理请求。这也是系统性能优异的主要原因。此外,我们通过有效的Cache、去中心化等手段来加速采样和负采样,性能具有明显提升。关于线程模型、Cache加速等细节可参考AliGraph paper。
FCCF1B20-0858-4FA6-A2C6-DF9E46892EC8.png

算子可扩展

为支持GNN的快速发展需求,系统允许算子自由扩展。系统框架包括用户接口、分布式运行时、分布式存储,3大部分。通过用户接口调用某个算子,算子读取数据并完成分布式计算。我们把分布式运行时和存储的接口进行提炼,将编程接口控制在安全范围内,用户可以基于这些接口开发一个自定义的算子。自定义算子可以统一注册到用户接口上,无需新增用户API。具体的,每种Operator都是一个分布式算子,计算所需的数据会分布在Service的各个Server上,我们抽象了Partition()和Stitch()语义,Partition()用于把计算请求拆分并转发到对应的Server上,保证数据和计算colocate从而避免数据搬迁的代价,Stitch()则把每个Server的结果进行整合。Operator还需实现Process(),用于本地计算,数据序列化、分布式通信等则无需关心。

0102F5E9-CC37-48B2-A83C-87585A95059B.png

举个例子,KNN可以检测点与点的相似性(向量召回),再基于相似性来“构图”,因此可作为GNN生态的一部分。基于上述抽象框架,我们把KNN作为一种算子,很容易的实现了大规模KNN。除了作为扩展算子的编程框架,Partition()和Stitch()也可做为Message Passing编程的基础组成部分。

灵活的部署

整体上看,GraphEngine是典型的CS架构。轻量级的Client,可嵌入到TF、PyTorch等主流的DL框架使用。Client不做任何数据切片、转发、合并等操作,只是把Request发给对应的Server。Client与Server的连接是一个抽象的Channel,可以是RPC Channel,也可以是In Memory Channel,这也使得AliGraph有灵活的部署方式,即可以独立Service部署,也可以和TF等同进程部署,只要Channel联通Client与Server即可。轻量Client的另一个好处是可以作为Server之间通信的载体,而无需对Server间相互通信再开发新的协议。
C0C498D5-A2D1-443F-8ACE-B1736E4BED50.png

效果

系统

数据种类:支持同构图、异构图、属性图,有向图、无向图,与ODPS数据无缝对接。
数据规模:支持百亿级边、十亿级顶点的超大规模图(原始存储TB级)。
算子种类:支持几十种可与深度学习相结合的图查询、采样算子,支持向量检索,支持算子按需自定义。
性能指标:支持分钟级超大规模图构建,毫秒级多跳异构图采样,毫秒级大规模向量检索。
用户接口:与PAI-TF构成一体化IDE,支持notebook,开发成本相比一般TF模型无异。

算法

已支持业界主流的GraphEmbedding算法,包括:DeepWalk、Node2Vec、GraphSAGE、GATNE等。多种自研算法正在计划公开,已发表的相关paper参考如下。

Representation Learning for Attributed Multiplex Heterogeneous Network. KDD, 2019.
Is a Single Vector Enough? Exploring Node Polysemy for Network Embedding. KDD, 2019.
Towards Knowledge-Based Personalized Product Description Generation in E-commerce. KDD, 2019.
Sequential Scenario-Specific Meta Learner for Online Recommendation. KDD, 2019.
AliGraph: A Comprehensive Graph Neural Network Platform. VLDB, 2019.
Large Scale Evolving Graphs with Burst Detection. IJCAI, 2019.
Hierarchical Representation Learning for Bipartite Graphs. IJCAI, 2019.
Cognitive Graph for Multi-Hop Reading Comprehension at Scale. ACL, 2019.

业务

在集团内,已覆盖淘宝推荐搜索、新零售、网络安全、线上支付、优酷、阿里健康等相关业务,百亿级边、十亿级顶点的异构图,单任务节省300TB存储、万CPU时算力,训练时间缩短2/3,线上CTR提升12%。
此外,AliGraph已在阿里云机器学习PAI发布,为更多客户提供服务。我们希望看到GNN为更多的场景带去更优的解决方案,也希望更多的研究者愿意投入到这个方向。

获奖
荣获2019世界人工智能大会最高荣誉SAIL奖项。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
3天前
|
机器学习/深度学习 自然语言处理 数据处理
大模型开发:描述长短期记忆网络(LSTM)和它们在序列数据上的应用。
LSTM,一种RNN变体,设计用于解决RNN处理长期依赖的难题。其核心在于门控机制(输入、遗忘、输出门)和长期记忆单元(细胞状态),能有效捕捉序列数据的长期依赖,广泛应用于语言模型、机器翻译等领域。然而,LSTM也存在计算复杂度高、解释性差和数据依赖性强等问题,需要通过优化和增强策略来改进。
|
7天前
|
数据库 Android开发 开发者
构建高效Android应用:采用Kotlin协程优化网络请求处理
【2月更文挑战第30天】 在移动应用开发领域,网络请求的处理是影响用户体验的关键环节。针对Android平台,利用Kotlin协程能够极大提升异步任务处理的效率和简洁性。本文将探讨如何通过Kotlin协程优化Android应用中的网络请求处理流程,包括协程的基本概念、网络请求的异步执行以及错误处理等方面,旨在帮助开发者构建更加流畅和响应迅速的Android应用。
|
24天前
|
网络协议 Go 开发者
Go语言网络编程基础:构建高效、可靠的网络应用
【2月更文挑战第12天】本文将深入探讨Go语言在网络编程领域的基础知识,包括其强大的并发模型、网络库的使用、TCP/IP和HTTP协议的理解等。通过本文,读者将能够理解Go语言在网络编程中的优势,并掌握构建高效、可靠网络应用的核心技能。
|
1月前
|
数据采集 API 开发者
Roxlabs:解锁高效数据采集与网络应用新境界
Roxlabs以其先进的技术和优质服务,在全球IP代理服务领域中确立了领航者的地位。无论客户需求如何多变,Roxlabs都能提供符合高标准的解决方案,助力企业和个人用户在数字化时代里畅游无界。
35 0
Roxlabs:解锁高效数据采集与网络应用新境界
|
13天前
|
数据采集 监控 安全
Go语言在网络安全中的应用
【2月更文挑战第24天】Go语言,作为一种高效且易于维护的编程语言,近年来在网络安全领域得到了广泛的应用。本文旨在探讨Go语言在网络安全中的应用,包括其在防火墙、入侵检测、网络爬虫以及Web安全等方面的应用,并分析了Go语言在网络安全领域的优势与前景。
|
2月前
|
安全 网络安全 数据安全/隐私保护
【网络工程师】<软考中级>网络安全与应用
【1月更文挑战第27天】【网络工程师】<软考中级>网络安全与应用
|
2月前
|
机器学习/深度学习 人工智能 安全
【AI 现况分析】AI在网络安全领域中的应用
【1月更文挑战第27天】【AI 现况分析】AI在网络安全领域中的应用
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
卷积神经元网络中常用卷积核理解及基于Pytorch的实例应用(附完整代码)
卷积神经元网络中常用卷积核理解及基于Pytorch的实例应用(附完整代码)
13 0
|
6天前
|
机器学习/深度学习 安全 网络安全
网络安全与信息安全:防范漏洞、应用加密技术与提升安全意识
【2月更文挑战第30天】 在数字化时代,随着网络技术的迅猛发展,网络安全和信息安全问题日益突出。本文将深入探讨网络安全漏洞的成因与危害、加密技术的应用以及如何提升个人和企业的安全意识。通过分析不同类型的网络攻击手段,我们旨在提供一系列的防护策略,以增强信息系统的抵抗力。同时,文章还将介绍最新的加密技术动态,并讨论如何培养良好的网络安全习惯,为读者打造一道坚实的信息安全防线。
|
8天前
|
安全 Linux 网络安全
Qt SSL/TLS 安全通信类:构建安全网络应用的关键组件
Qt SSL/TLS 安全通信类:构建安全网络应用的关键组件
53 0

热门文章

最新文章

相关产品

  • 人工智能平台 PAI