【云周刊】第209期:Perseus(擎天):统一深度学习分布式通信框架 [弹性人工智能]

简介: 本期头条 [Perseus(擎天):统一深度学习分布式通信框架 [弹性人工智能]](https://yq.aliyun.com/articles/692756?spm=a2c4e.11157919.spm-cont-list.1.2bc627aewRbkXq) 近些年来,深度学习在图像识别,自然语言处理等领域快速发展。

本期头条

Perseus(擎天):统一深度学习分布式通信框架 弹性人工智能

500619594_meitu_1

近些年来,深度学习在图像识别,自然语言处理等领域快速发展。各种网络模型,需要越来越多的计算力来进行训练。以典型的中等规模的图像分类网络Resnet50为例,基准的训练精度为Top-1 76%, Top-5 为 93%,为达到此精度,一般需要将整个Imagenet数据集的128万张图片,训练90次(90 epoch). 这样的计算量,以单张P100的计算力需要6天才能训练完毕,而最近的NLP 领域取得突破的Bert 模型以及GPT-2的预训练,如果在单机上进行则需要数月甚至按年计。因此在实际的生产环境,引入分布式训练,大大降低模型训练所需的时间,提高模型迭代的速度成为紧迫的需求。基于这样的需求,各大深度学习框架,基本都实现了分布式训练的支持。点击查看

RocketMQ 在平安银行的实践和应用
阿里巴巴女工程师的人生哲学:快乐工作,认真生活
阿里云环境搭建Oracle 11G RAC详细文档
阿里云峰会北京站火热来袭~席位有限,先到先得~快来抢
【阿里内部应用】利用blink CEP实现流计算中的超时统计问题
阿里云表格存储TableStore全新升级 打造统一在线数据存储平台

技术干货

精华集锦 | 阿里如何提升团队的研发效能?

云效鼓励师:以下是我们整理的云效公众号上【研发效能】相关的爆款文章,这些内容中有许多都曾获得阿里技术、infoQ等多家技术自媒体大号的转载。总之,篇篇都是精华,篇篇都值得细读,送给正在提升研发效能路上的你,强烈建议收藏哟!点击查看

阿里Java技术进阶 官方钉群直播大全(持续更新)
干货满满 K8S常见问答50问(持续更新)
Python 技术百问

期刊订阅

云周刊
PostgreSQL技术周刊
HBase+Spark技术周刊
论坛一周精粹

精彩直播

阿里云新品发布会第49期:教育一体机发布会

500588239_meitu_2

发布会主题
将主流IT技术课程和真实的云开发实验环境搬进高校课堂。
产品详情:阿里云教育一体机介绍
发布会专属:把云计算技术带进校园,为学子提供云原生实验环境
你优秀,你来说:如何时光倒流,回到大学你最想get什么技能呢?
点击了解“阿里云新品发布会频道”点击查看

Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
中国HBase技术社区第十届meetup--HBase生态实践 (杭州站)
银泰新零售上云解决方案精讲:银泰上云案例分享
GTIC 2019全球AI芯片创新峰会

聚能聊

三七女生节,邀你一起解密阿里女程序员们的代码诗!

女生节到了,小编火速在阿里的程序员群体中发掘出了一群美女!和大家分享下,阿里背后写代码、修bug的女生们!

巾帼不让须眉,如今越来越多的女性同胞参与到IT行业,这个行业因为她们的参与,才显得更加精彩,因为她们的出现,才有了更多活力。

云栖社区为此推出“三七”女生节特别分享,16位才华横溢的阿里女生们同一时间向你发出代码诗,快来解密吧!点击查看
阿里巴巴航母级计算平台MaxCompute即将发布首个开发者版本,与开发者共建大数据生态
如何时光倒流,回到大学你最想get什么技能呢?
3-5年的程序员的发展和出路在哪??
什么?有几十种数据库类型~!数据存储管理怎么选,阿里自研NoSQL数据库与你聊一聊

论坛精选

中国HBase技术社区第十届meetup--HBase生态实践 (杭州站)

_1

阿里云栖开发者沙龙是“云栖社区”主办的线下技术沙龙品牌,希望通过技术干货分享来打通线上线下专家和开发者的连接。沙龙每期将定位不同的技术方向,逐步覆盖 云计算,大数据,前端,PHP,Java ,android,AI,运维,测试 等技术领域,并会穿插一些特别专场(开源专场,女性开发者专场,开发者成长专场等)。我们希望它将是一个开发者的聚集地,每一期都是一个开发者的大Party!点击查看

云计算、大数据、编程语言学习指南下载,100+技术课程免费学!这份诚意满满的新年技术大礼包,你Get了吗?
教程 阿里云云虚拟主机终于可以开启原生 HTTPS 访问了
用户交流 OceanBase使用动画(持续更新)

读书推荐

入行AI,你需要一本Python机器学习入门

目前机器学习红遍全球。男女老少都在学机器学习模型,分类器,神经网络和吴恩达。你也想成为一份子,但你该如何开始?点击查看

做《重构(第2版)》中文版的首批读者

产品特惠

2019阿里云开年Hi购季大促主会场全攻略!
阿里云Link TEE,让IoT设备更安全!
表格存储TableStore 重磅升级发布会
Cloud Toolkit 全新升级支持 RDS MySQL
消息队列(MQ )产品系列 全线升级

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2天前
|
机器学习/深度学习 运维 监控
TensorFlow分布式训练:加速深度学习模型训练
【4月更文挑战第17天】TensorFlow分布式训练加速深度学习模型训练,通过数据并行和模型并行利用多机器资源,减少训练时间。优化策略包括配置计算资源、优化数据划分和减少通信开销。实际应用需关注调试监控、系统稳定性和容错性,以应对分布式训练挑战。
|
3天前
|
机器学习/深度学习 算法 PyTorch
fast.ai 深度学习笔记(三)(3)
fast.ai 深度学习笔记(三)(3)
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
fast.ai 深度学习笔记(三)(1)
fast.ai 深度学习笔记(三)(1)
|
4天前
|
机器学习/深度学习 固态存储 Python
|
4天前
|
机器学习/深度学习 算法框架/工具 PyTorch
|
机器学习/深度学习 自然语言处理 Web App开发
|
4天前
|
机器学习/深度学习 API 调度
|
机器学习/深度学习 计算机视觉 存储
|
4天前
|
机器学习/深度学习 自然语言处理 搜索推荐
|
4天前
|
算法框架/工具 机器学习/深度学习 PyTorch