推荐 | 阿里开源深度神经网络推理引擎 MNN

  1. 云栖社区>
  2. 阿里云数据智能>
  3. 博客>
  4. 正文

推荐 | 阿里开源深度神经网络推理引擎 MNN

数据智能小二 2019-05-23 14:35:44 浏览10765
展开阅读全文

1
近日,阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。

MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。

官方希望 MNN 能够抹平 Android 和 iOS 的差异、碎片设备之间的差异、不同训练框架的差异,实现快速的在端侧部署运行,并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。
2

△ MNN 架构设计,分为 Converter 和 Interpreter 两部分

具体来说,MNN 负责加载网络模型,推理预测返回相关结果。整个推理过程可以分为模型的加载解析、计算图的调度、在异构后端上高效运行。MNN 具备四大特征:

通用性:支持 Tensorflow、Caffe、ONNX 等主流模型文件格式,支持 CNN、RNN、GA


网友评论

登录后评论
0/500
评论
数据智能小二
+ 关注
所属云栖号: 阿里云数据智能