备案控制台
探索云世界
开发者社区 人工智能 文章 正文

【Spark Summit EU 2016】TensorFrames: 在Spark上搭建TensorFlow深度学习框架

2017-02-13 3875
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。


2c171248c301e321064421f9977e492a83de60c2

8601e4de12bd6a98f9311589ee908cac58254ff3

ac46789e0824868a45328e3a8040b5f7a1086d8e

de7dd3c07332d6889481c569f3ae1f7340106c76

0a4023dd734a59f6e1d041a5afbf1f3e95e1a375

e110bd2403ea4189e095d9c26e18f8a432511b77

19dec1896c3af24be1cf3c91cb4ba970fb9308ad

82d5d730ba5463cbfd5eba9d8286767908ec0a1e

9948f88e54f2697ee0db31b9019fd924ae76fc4d

2601793adb1049760a54670e46981752dbde62a9

104c804990bbfb03afb5f96ebd25fcabb804bf26

2846755545e0412cfe4d6b2f8ab79b455fff249c

e22782d8d35d0d0e7594f241bc384d6f179cfe52

cc87ed45e8c10dc974f7d7d9b54bbf0230a8906a

df0e3a16aaf39ed40242c574f29b4e659159c3d4

cf1544f95bb4c04a1603a92ffbf15efc798d8a71

521f589d30f0010ac5693a8138a6b39261754429

ca29125e1b14930522d6ae9bcf90197dc4f00e7d

452d584597e804f2027105ebf5e9279203cb9ac5

bfe19d2be0d342ce84cc06a7d710cd54a1a24d55

f4db355ccf7c1718447c85a0a80aee97ac104b80

447f1cea9b90c8b7d3fea939bbea1bb7d7d7a12d

a335d7fda7c5085e4f77ba80290c7af91a879096

51f63b6391c36bfbb172f8f3d435a49e1604c96e

ffea6f06a589298806bf551c0cfe12e2af1f2288

91e4334f02053ddd6e40eda899dc1e5c6960f1be

8fd0b42b2cc50dca08eee6c351b1a112880bb0a7

5691523128965749cbf940d1eea4b15e1546459c

87efd0faaf485fa08569c4d24ea4ecd32f550c72

dd234262bbc144ed8a53f6641507c1e32c8ab23c

文章标签：
分布式计算
机器学习/深度学习
Spark
算法框架/工具
TensorFlow
关键词：
深度学习tensorflow
TensorFlow深度学习
TensorFlow深度学习框架
apache spark框架
深度学习框架
小猫吃鱼569
目录
相关文章
wljslmz
|
8天前
|
机器学习/深度学习 API 语音技术
深度学习框架-Tensorflow2：特点、架构、应用和未来发展趋势
【4月更文挑战第6天】
wljslmz
46 8
绝不原创的飞龙
|
3月前
|
机器学习/深度学习 存储 人工智能
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（3）
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（3）
绝不原创的飞龙
80 0
绝不原创的飞龙
|
3月前
|
机器学习/深度学习 Dart TensorFlow
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（5）
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（5）
绝不原创的飞龙
67 0
1941623231718325
|
2天前
|
机器学习/深度学习 运维 监控
TensorFlow分布式训练：加速深度学习模型训练
【4月更文挑战第17天】TensorFlow分布式训练加速深度学习模型训练，通过数据并行和模型并行利用多机器资源，减少训练时间。优化策略包括配置计算资源、优化数据划分和减少通信开销。实际应用需关注调试监控、系统稳定性和容错性，以应对分布式训练挑战。
1941623231718325
9 0
wljslmz
|
8天前
|
机器学习/深度学习 PyTorch API
深度学习框架-Pytorch：特点、架构、应用和未来发展趋势
【4月更文挑战第6天】
wljslmz
38 7
深度学习框架-Pytorch：特点、架构、应用和未来发展趋势
嘿嘿就是写
|
2月前
|
机器学习/深度学习 PyTorch TensorFlow
Python中的深度学习：TensorFlow与PyTorch的选择与使用
Python中的深度学习：TensorFlow与PyTorch的选择与使用
嘿嘿就是写
52 0
艾派森_
|
2月前
|
机器学习/深度学习 数据可视化 TensorFlow
基于tensorflow深度学习的猫狗分类识别
基于tensorflow深度学习的猫狗分类识别
艾派森_
61 1
爱吃糖的范同学
|
3月前
|
机器学习/深度学习 PyTorch TensorFlow
【TensorFlow】深度学习框架概述&TensorFlow环境配置
【1月更文挑战第26天】【TensorFlow】深度学习框架概述&TensorFlow环境配置
爱吃糖的范同学
61 0
绝不原创的飞龙
|
3月前
|
机器学习/深度学习 存储 编解码
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（4）
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（4）
绝不原创的飞龙
119 0
绝不原创的飞龙
|
3月前
|
机器学习/深度学习 存储 算法框架/工具
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（2）
TensorFlow Lite，ML Kit 和 Flutter 移动深度学习：6~11（2）
绝不原创的飞龙
48 0

热门文章

最新文章

  • 1
    Sklearn、TensorFlow 与 Keras 机器学习实用指南第三版（三）（2）
  • 2
    揭秘深度学习在图像识别中的创新应用
  • 3
    【动手学深度学习】深入浅出深度学习之线性神经网络
  • 4
    深度学习框架-Tensorflow2：特点、架构、应用和未来发展趋势
  • 5
    利用深度学习进行自然语言处理的最新进展
  • 6
    深度学习框架-Pytorch：特点、架构、应用和未来发展趋势
  • 7
    深度学习模型可视化工具——Netron使用介绍
  • 8
    基于深度学习的图像识别技术进展
  • 9
    基于深度学习的图像识别技术在自动驾驶系统中的应用
  • 10
    基于深度学习的图像识别技术在无人机导航中的应用
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    76
  • 2
    安装Spark
    34
  • 3
    Spark环境搭建与使用
    33
  • 4
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 5
    Spark读取变更Hudi数据集Schema实现分析
    36
  • 6
    实战|使用Spark Streaming写入Hudi
    39
  • 7
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 8
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    39
  • 9
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    65
  • 10
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    30

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 深度学习与自动驾驶
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用PAI-EAS一键部署ChatGLM及LangChain应用
    • 下一篇
    阿里云oss简介和使用流程