1. 云栖社区>
  2. 博客列表>
  3. 正文

阿里云PAI将神经机器翻译训练效率提升5倍

技术小能手 2017-07-12 18:04:42 浏览487 评论1

深度学习 分布式 阿里云 人工智能 阿里巴巴 电商 钉钉 神经网络

摘要: 近两年,神经机器翻译(NMT: Neural Machine Translation)技术异军突起,翻译质量取得大幅提升。但不幸的是,NMT 系统的训练成本非常高,限制了这一技术的大范围使用。 阿里翻译团队通过使用阿里云机器学习平台PAI实现了模型训练效率5倍的飞跃,并已应用在英俄电商翻译质量优化项目中。

近两年,神经机器翻译(NMT: Neural Machine Translation)技术异军突起,翻译质量取得大幅提升。但不幸的是,NMT 系统的训练成本非常高,限制了这一技术的大范围使用。

阿里翻译团队通过使用阿里云机器学习平台PAI实现了模型训练效率5倍的飞跃,并已应用在英俄电商翻译质量优化项目中。


1,什么是NMT

NMT一词的出现要追溯到2014年9月1号,加拿大蒙特利尔大学Bengio教授研究组在开放论文网站arxiv上发布了他们最新的研究成果『neural machine translation by jointly learning to align and translate』,NMT进入了人们的视野。

他们设计了一组神经网络,使用一个编码器将源语言句子编码为一个向量,然后使用一个解码器对该向量进行解码,产生译文。同时,引入了注意力机制进一步提高译文质量。


2,阿里翻译如何使用PAI

在阿里巴巴内部,阿里翻译负责为1688国际站、全球速卖通等提供多语言服务,中国卖家填写的一些中文信息会被机器自动翻译成多国语言。该团队同时还为钉钉、东南亚电商Lazada等提供服务。

去年,他们首次将NMT技术应用在通讯场景下。虽然翻译质量取得很大的提升,但模型训练耗时太长。3000万的训练数据在单块GPU卡上一般需要训练20天以上,才能得到一个初步可用的模型。

之后,他们尝试在阿里云机器学习平台PAI上开发支持分布式训练的NMT系统,并于3月底完成了第一个版本。在英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练速度,使模型训练时间从20天缩短到了4天。


image
图:使用不同卡数时,在中英100万训练语料上获得的收敛加速比

现在,阿里翻译团队还在破解线上服务处理延时的难题,为神经网络机器翻译模型的大规模应用扫除最后障碍。


3,PAI是什么

PAI是阿里巴巴“NASA”计划发布的首个重磅工具,可完全兼容全球主流的深度学习开源框架。同时,底层提供强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,可灵活实现多卡调度。

在阿里巴巴内部,PAI已经被广泛使用。淘宝搜索使用PAI的参数服务器,可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破规模瓶颈。最终实现搜索结果基于商品和用户的特征进行排序。

在过去的一年时间里,阿里云协助客户落地了多项重大的人工智能应用。但人工智能要想真正成为成为普惠技术,需要一件人人可用的生产工具。PAI正是为此而生。

原文链接

如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】首届阿里巴巴中间件技术峰会,揭秘阿里10年分布式技术沉淀!阿里高可用体系核心缔造者、全链路压测创始人,DRDS与TDDL负责人等大咖出场,干货分享,不可错过!  详情请点击

网友评论

1F
未来已来.

支持。

(来自社区APP)
阿里云机器学习是基于阿里云分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的操作组件来进行试验,... 更多>

结合大数据能力帮助电商企业快速搭建平台、应对业务高并发,剖析秒杀、视频直播等场景 更多>

是基于语音识别、语音合成、自然语言理解等技术,为企业在多种实际应用场景下,赋予产品“能听、会说、懂你”式的智能人... 更多>

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本... 更多>
2017杭州云栖大会火热抢票

2017杭州云栖大会火热抢票