马云爸爸“翻译情未了”? 回顾阿里翻译平台的进击之路!

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介:

雷锋网AI科技评论按:在百度翻译,谷歌翻译几乎要霸占整个机器翻译市场时,阿里翻译宣布已成功研发阿里云PAI工具,基于阿里云PAI可以将神经网络翻译训练效率提升5倍,这将大大加速阿里翻译平台的建设。希望阿里翻译以后也能走进我们的生活中。

众所周知,马云爸爸在创立阿里之前是做翻译服务及开翻译公司的。随着近几年阿里的业务不断扩大,全球化战略进程加速,语言问题也成了最基础的需求之一,尤其是跨境电商交易对多语言翻译需求尤甚。此前阿里在语言服务上做过不少努力,包括收购国内最大的人工翻译平台,但这远远不能满足阿里平台上亿级别客户的需求。正当阿里为此感到苦闷时,谷歌的神经网络翻译技术出现了,可以说是为阿里的翻译平台插上了一对翅膀。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

早在2015年6月份,阿里就已收购国内最大的众包翻译平台——365翻译。当时把阿里翻译平台定位为阿里巴巴的语言服务平台,将瞄准人机结合模式,在语言服务领域进行更多创新。365翻译的加入确实为阿里的跨境电商领域分担了一些翻译业务上的压力。并且在机器翻译领域,和电商相关的几个主要语种中,其翻译的准确率基本和谷歌翻译持平。然而,阿里语言服务平台的野心并不止于此。他们想借助强大的人工翻译团队和电商大数据研发下一代基于神经网络技术的翻译平台。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

神经网络翻译技术是一种用于自动翻译的端到端的学习方法,该方法能够克服传统的基于短语的翻译系统的缺点,可以将整个输入句子视作翻译的基本单元。从2016年以来的学术界顶级会议上,几乎全是围绕NMT相关的创新工作,之后谷歌、微软等巨头公司相继发布NMT系统。

阿里翻译团队也紧紧抓住这一机会于2016年10月起正式开始自主研发NMT模型,2016年11月首次将NMT系统的输出结果应用在中英消息通讯场景下的外部评测中并取得了不错的成绩,翻译质量有了大幅度提升。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

但是,由于NMT(神经网络机器翻译)模型的结构复杂,且深度神经网络模型本身的训练过程一般又会涉及很大量的计算,因此NMT系统往往需要较长的训练周期,例如,使用3000万的训练数据在单块GPU卡上一般需要训练20天以上,才能得到一个初步可用的模型。

基于上述问题,2017年2月初开始,阿里翻译团队和阿里云Large Scale Learning(大规模学习)的穆琢团队合作,共同开发支持分布式训练的NMT系统,并于2017年3月底完成了第一个版本的分布式NMT系统。

在2017年4月份的英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练速度,使模型训练时间从20天缩短到了4天,为项目整体迭代和推进节省了很多时间成本。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

图:使用不同卡数时,在中英100万训练语料上获得的收敛加速比

PAI是阿里推出全球化战略“NASA”计划后发布的首个重磅工具,可以完全兼容全球主流的深度学习开源框架。同时,底层提供强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,可灵活实现多卡调度。

除了基于MA的分布式实现,增加GPU卡的数量,有不同的收敛加速比以外,阿里翻译项目组还尝试了其他多种分布式实现方法,也都获得了不同程度的加速效果,包括Downpour SGD、AllReduce SGD以及使用了BMUF(Blockwise Model-Update Filtering, 一种针对Model Average方法的改进方案)策略的Model Average方法。下图中显示,在硬件条件相同,BMUF的收敛效果要比MA(黄色柱状)分布式要好。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里方面还表示:上一阶段工作主要集中在模型训练阶段的加速策略上,接下来的工作主要分为两方面:一方面是继续挖掘分布式训练的加速潜力,通过系统与算法相结合的优化策略,最大化利用硬件资源,提升收敛加速比,并将分布式优化策略和算法模型本身解耦,实现复杂深度学习模型分布式加速功能的组件化和通用化。

另一方面,需要在现有的服务化方案的基础上,进一步通过模型精度压缩、网络结构简化等方式,在保证模型效果的同时,提高解码速度,降低线上延时,进而增强线上服务能力,节约服务化所需的硬件成本。

阿里云PAI工具使阿里翻译平台的神经网络翻译训练效率提升5倍,确实非常厉害。这将大大加速阿里翻译平台建设之路。正当雷锋网(公众号:雷锋网)编辑想对阿里的翻译质量来一个评测对比,点击阿里翻译平台官网:www.alifanyi.com 却发现功能还未对外开放。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

后来雷锋网了解到:阿里翻译团队还在破解线上服务处理延时的难题,平台目前还在内测阶段。不过雷锋网编辑还是发现了一个能使用阿里翻译界面的网站。现在就来对百度翻译,谷歌翻译,阿里翻译做一个简单的汉译英测试。

百度翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

谷歌翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

为了能使阿里翻译体现出自己拥有电商大数据的优势,特别选了一句跨境电商领域的句子:自有产品,经营主体自行生产或自有品牌的产品,以及外部采购以自己名义进行销售的产品。从翻译结果对比来看,阿里翻译似乎比百度和谷歌的翻译好一点。接下里进行第二项测试,英译汉测试:

百度翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

谷歌翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

这次阿里翻译似乎表现的不太好,表现最好的是百度翻译。不过从一些关键词的翻译还是能体现出阿里翻译的特色,比如:jurisdiction,翻译为“法域”;buyer和seller翻译为买家和卖家。可以猜测阿里翻译在跨境电商等类似的特定场景下会表现的更好。总的来说,阿里翻译的汉译英表现还不错,但在英译汉的情况下表现的没有谷歌翻译和百度翻译好。

阿里翻译现在还没上线,但凭借自己拥有海量的电商跨境交易数据和强大的365人工翻译团队,再加上阿里云PAI工具对神经网路翻译训练效率的提升,相信不久后阿里翻译会有一个质的飞跃,在机器翻译领域占取一定的市场份额也不是没有可能的。希望阿里翻译平台开放后能给用户一个惊喜。

据雷锋网了解:在阿里巴巴内部,PAI已经被广泛使用。淘宝搜索使用PAI的参数服务器,可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破规模瓶颈。最终实现搜索结果基于商品和用户的特征进行排序。现在,阿里翻译团队还在破解线上服务处理延时的难题,为神经网络机器翻译模型的大规模应用扫除最后障碍。

via雷锋网

本文作者:杨文

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
11月前
510特辑 | 读懂阿里日,也就读懂了阿里
510特辑 | 读懂阿里日,也就读懂了阿里
228 0
|
3月前
|
算法 搜索推荐 程序员
创新!京东T7开创“新算法宝典”,图文并茂,全新演绎,太酷了
算法是一门学问,但却总遭到一些程序员的冷落。现在的开发人员,更热衷于编程语言的修炼,以应付面试需求时的需要,所以对算法的学习,稍许忽略了些。实际上,近些年来,各互联网公司对于算法的要求也越来越高了,尤其是对于应届生来说,更为严格。
|
机器学习/深度学习 人工智能 监控
DayDayUp:7月25日,如何打造技术品牌影响力?顶级大咖独家传授—阿里云乘风者计划专家博主&CSDN TOP1“一个处女座程序猿”《我是如何通过写作成为百万粉丝博主的?》演讲全文回顾
DayDayUp:7月25日,如何打造技术品牌影响力?顶级大咖独家传授—阿里云乘风者计划专家博主&CSDN TOP1“一个处女座程序猿”《我是如何通过写作成为百万粉丝博主的?》演讲全文回顾 目录 个人简介 一、什么内容是受欢迎的写作内容? 1.1、学生(计算机相关)群体 1.2、同行(开发者)群体 1.3、好内容的特点 二、一些经典的技术文章逻辑框架设计 2.1、从写作逻辑和结构角度考虑 (1)、对于bug类型的文章——通过分析刨根问底 (2)、对于学习类型的文章—通过案例学以致用 (3)、对于总结类型的文章—通过思考产生共鸣 2.2、从写作技巧考虑 (1)、题目和摘要必须简单、清晰明了且定位
DayDayUp:7月25日,如何打造技术品牌影响力?顶级大咖独家传授—阿里云乘风者计划专家博主&CSDN TOP1“一个处女座程序猿”《我是如何通过写作成为百万粉丝博主的?》演讲全文回顾
|
存储 弹性计算 运维
介绍几本阿里人写的书
再过一周就是读书节,分享几本阿里人写的书,希望对大家选书、读书有一定的帮助。
1322 0
介绍几本阿里人写的书
|
机器学习/深度学习 人工智能 算法
|
存储 人工智能 移动开发
流利说联手新华智云, AI老师带大家重温英语第一课
H5还用到了当下最火的人工智能(AI)技术。通过重温第一节英语课的那段青涩时光,念出那些经典的英文对白,类似“How are you”、“Nice to meetyou”,测试自己的英语音色和明星大咖们的相似度,非常有趣。这背后,其中使用的语音识别、打分技术,正是来自一家人工智能教育科技公司——流利说。
149 0
流利说联手新华智云, AI老师带大家重温英语第一课
|
开发者 小程序
阿里巴巴小程序繁星计划 9月27日有话要说
2019年9月27日,阿里巴巴小程序繁星计划峰会将于杭州云栖小镇召开。本次峰会将围绕如何更好地赋能生态,帮助ISV、企业、开发者降低开发门槛、寻找更多商机和用户转化等话题全面展开。悄悄地告诉你,现场还有彩蛋哦~
5102 0
|
算法 机器学习/深度学习 搜索推荐
|
人工智能 运维 开发者
【云栖精选】帮你把握“金三银四”,阿里开发者招聘节面经总结帖来袭
云栖精选,一文为你网罗本周云栖社区本周精华帖,精彩不容错过。换工作、找实习,那你一定不能错过“金三银四”,想要来阿里巴巴,一些笔试和面试技巧一定不能少。本期中,为大家选取了几篇关于阿里招聘节的相关内容。
7360 0
|
Web App开发 Ubuntu Java
【云周刊】第199期:三周年专辑-阿里毕玄:程序员的成长路线
本期头条 三周年专辑-阿里毕玄:程序员的成长路线 2018年12月20日,云栖社区3周岁生日。阿里巴巴常说“晴天修屋顶”,所以我们特别策划了这个专辑——分享给开发者们20个阿里故事,50本书籍。第一位是林昊(毕玄)。
4046 0