1. 聚能聊>
  2. 话题详情

还在手写上千行 MapReduce 来实现矩阵乘?一行就够了!还快十倍!

Mars科学计算引擎—源于MaxCompute,阿里首款自研科学计算引擎开源

听到 Mars,很多同学都会产生灵魂三问吧:Mars 是什么,能做什么,怎么做的?

权威解读

源于MaxCompute 的Mars 作为全新一代分布式科学计算引擎,如何突破科学计算领域的规模瓶颈,引领科学计算进入超大规模的新时代,同时为现有大数据平台提供科学计算能力。

分享嘉宾

_jpeg
李睿博(艺卓) 阿里巴巴计算平台 高级技术专家
_
秦续业(继盛) 阿里巴巴计算平台 技术专家

《Mars简介及科学计算介绍》

从最早的MapReduce到今天,分布式大数据计算引擎已经经过的充分的优化和发展。以MaxCompute为代表的主流大数据引擎,都是传统数据库的关系代数计算模型的延伸。而对于科学计算来说,关系代数模型只能覆盖一部分计算需求,更多的计算形式,如矩阵计算,很难用关系代数表达而形成独立的编程风格和社区,如R和Numpy社区,并因此长久以来一直以单机优化为主。虽然科学计算的规模需求也在增加,但是一直和分布式大数据引擎无缘。阿里巴巴从2017年5月开始投入Mars——新一代分布式科学计算引擎的研发,力图打破大数据和科学计算两个领域的隔阂。一方面突破科学计算领域的规模瓶颈,另一方面也为现有大数据平台提供科学计算的能力。到现在,终于完成第一个版本并开源,可以和大家见面。

《Mars系统设计揭秘》

通过一个生动浅显的例子介绍科学计算在大数据场景下遇到的挑战,并逐步展开Mars在解决此类问题上的思考,以及选择的技术路线,系统架构。

| Mars面向大数据场景充分优化
| 兼容Numpy已有API给用户带来最好的编程体验
| 支持GPU/Sparse等多种使用场景
| Mars目前的规模及性能数字
| 完全开源以及后续的发展路线

《Mars Live Show》

现场演示蒙特卡洛计算Pi,先演示单机模式下的R和Numpy介绍该方法的原理,再扩大规模到单机无法完成的情况下,对比Mars分布式执行的成绩。

典型架构

_

话题

  1. 之前你对科学计算有所了解吗?
  2. 现在是否有用到科学计算,有的话,是用于什么场景的?
  3. Mars的开源对你有什么帮助吗?你会使用吗?
  4. 你是否看好Mars未来的发展?

1月16日下午15:00,为你揭开阿里首款自研科学计算引擎开源面纱

观看Mars开源发布会直播

了解更多关于Mars
MaxCompute产品详情 开通服务 申请试用

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    阿里云代金券 x 3

  • 奖品二

    移动电源 x 1

  • 奖品三

    小米随身蓝牙音箱 x 1

28个回答

2

黄二刀 已获得阿里云代金券 复制链接去分享

之前你对科学计算有所了解吗?
略知一二,主要用于科学和工程领域,利用计算机进行相应的数值计算。
现在是否有用到科学计算,有的话,是用于什么场景的?
暂时还没用,小微民营企业,完全用不上。
Mars的开源对你有什么帮助吗?你会使用吗?
通过阅读源码,能够更好的了解科学计算的实现方式。了解肯定会去了解,但使用的话,还得看实际场景需求。
你是否看好Mars未来的发展?
非常看好,Mars对科学研究和医疗技术的发展肯定会起到非常好的作用。

1

盖地虎王晓 已获得阿里云代金券 复制链接去分享

之前你对科学计算有所了解吗?
了解的不多,不知道大学时后老师讲的几种加密模式矩阵算法算不算,反正那时候听的也不太明白。还面还有数据结构相关一些东西。

现在是否有用到科学计算,有的话,是用于什么场景的?
我们现在也有用到一些大数据计算,比如说对公司业务数据中提取客户的相似度呀,客户意向呀相关东西,算是多维度中进行人群画像吧。同时还通过客户渠道对公司的一些业务做数据支撑调整。

Mars的开源对你有什么帮助吗?你会使用吗?
mars开源现在对我们还是可能有很大的帮助的,我可能在不久的未来就会使用到,主要场景就是把现有客户的通话内容进行转成文本,然后通过mars对这些通话内容进行,大数据分析,可惜的是,现在阿里的话音转化可靠性还达不到公司要求,以后可能会用到吧。

你是否看好Mars未来的发展?
比较看好mars未来,因为虽着现在业务都转向线上和云端,而且积累量越来越大,那么以后的大数据处理分析需求就非常强烈。

1

浮生递归 已获得移动电源 复制链接去分享

之前你对科学计算有所了解吗?
在接触numpy的时候,了解了一点科学计算。也感受到了numpy对科学计算的影响。

现在是否有用到科学计算,有的话,是用于什么场景的?
目前还没有,但是相信很快就会用到科学计算。主要是一个地区人事信息的大数据计算分析。

Mars的开源对你有什么帮助吗?你会使用吗?
有很大帮助。会不会使用,主要还是看其的定价策略吧,特别是未来的价格体系。毕竟,对于企业而言,一个产品要稳定和长期可用。如果现在还美好,某一天突然高价付费了,对企业而言,可以说是灾难性的事件。

你是否看好Mars未来的发展?
看好。毕竟是第一个开源和打破大数据和科学计算隔阂的分布式科学计算引擎吧。

浮生递归 回复

谢谢小姐姐打赏

评论
-1

丘666 复制链接去分享

阿里云是全宇宙最垃级的,最坑爹的,云服务器

石开 回复

放屁呢

三脚先生88 回复

大2灰狼 回复

必须踩一脚

评论
0

aoteman675 已获得小米随身蓝牙音箱 复制链接去分享

1、之前你对科学计算有所了解吗?
科学计算是用算法加GPU对数据的处理,用Python计算过,调用接口。

2、现在是否有用到科学计算,有的话,是用于什么场景的?
用于产品的受众分析吧,产品多,客户经理也多,网格划分越复杂,所以需要建立数学模型来做精准管理和营销。

3、Mars的开源对你有什么帮助吗?你会使用吗?
开源就可以二次开发了,如果成本不高,可以自己部署一套,用来做定制化。

4、你是否看好Mars未来的发展?
Mars是新产品,有用户需求和市场需要才会发布。就像云计算,首先要解决自身的业务需要然后经过双十一的考验,才会不断的升级,以贴合不同的应用场景。领先科技的产品,会引领中小企业的转型改革。

0

wangccsy 已获得阿里云代金券 复制链接去分享

之前你对科学计算有所了解吗?

有一点点了解吧。主要用于科学研究和工程领域使用,如火箭发射等。Python是科学计算领域中比较著名的语言。而且现在的AI中的很多开源库都有Python的库,所以Python在科学计算领域是占有很重要地位的。

现在是否有用到科学计算,有的话,是用于什么场景的?

我在公司是做软件开发的,不是做算法的,所以基本上用不到科学计算 。但公司的算法部门(人工智能部门)应该有部分科学计算。

Mars的开源对你有什么帮助吗?你会使用吗?

如果开放源代码,我会下载代码来研究,虽然我可能不明白其中的核心算法功能,但我可以慢慢的学习。毕竟我不是学数学的。在做软件开发中,我很多时候都通过查看别人的代码来进行学习。比看各种书要快得多。其实书中也是有很多代码的就是给我们学习的。编程语言的书如果没有源码那基本上不会让人喜欢上的。

你是否看好Mars未来的发展?

阿里,是中国的科技公司,云服务领跑中国,在世界也有一席之地。阿里聚集了不少科技牛人,他们在一起能研究出领先的东西。所以我看好Mars的未来。

1

微wx笑 复制链接去分享

之前你对科学计算有所了解吗?
Numpy 算吧?

现在是否有用到科学计算,有的话,是用于什么场景的?
目前还没有

Mars的开源对你有什么帮助吗?你会使用吗?
有需要的话会优先使用的。

你是否看好Mars未来的发展?
了解了一下Mars解决的问题,还是很看好的!

提供熟悉的接口,像 cupy 这样,通过简单的 import 替换,就能让原来 numpy 写的代码并行。
具备可扩展性。小到单机,也可以利用多核并行;大到一个很大的集群,支持上千台机器的规模来一起分布式处理任务。
支持硬件加速,支持用 GPU 等硬件来加速任务执行。
支持各种优化,比如操作合并,能利用到一些库来加速执行合并的操作。
我们虽然是内存计算的,但不希望单机或者集群内存不足,任务就会失败。我们应当让暂时用不到的数据 spill 到磁盘等等存储,来保证即使内存不够,也能完成整个计算。

0

耕耘网络 复制链接去分享

Python 是一门相当古老的语言了,如今,在数据科学计算、机器学习、以及深度学习领域,Python 越来越受欢迎。
大数据领域,由于 hadoop 和 spark 等,Java 等还是占据着比较核心的位置,但是在 spark 上也可以看到,pyspark 的用户占据很大一部分。
深度学习领域,绝大部分的库(tensorflow、pytorch、mxnet、chainer)都支持 Python 语言,且 Python 语言也是这些库上使用最广泛的语言。
对 MaxCompute 来说,Python 用户也是一股重要力量。

jackzeng88 回复

py还是方便

评论
0

浮生递归 复制链接去分享

谢谢打赏移动电源,这东西真不嫌少

0

1259948405340918 复制链接去分享

谁能带我用阿里云赚钱,怎么赚钱的,我给分红,微信c174312681

0

1259948405340918 复制链接去分享

谁能带我用阿里云赚钱,我给分红

0

1208403645672188 复制链接去分享

Mars是什么,从哪里来,要去哪里

0

你的邻居 复制链接去分享

新人路过来学习,学习,学习,完成任务

0

1297747782435871 复制链接去分享

我要反平闭多少钱

0

1126747360369124 复制链接去分享

不错不错

0

1126747360369124 复制链接去分享

.学习学习

0

1647791934924019 复制链接去分享

很牛的。加油!

0

拙二 复制链接去分享

新人路过,学习,学习。

0

海阔天空yy 复制链接去分享

之前你对科学计算有所了解吗?
很早的的时候,知道科学计算器。。。
后来玩过过 MapReduce,再就没有过其它的了
现在是否有用到科学计算,有的话,是用于什么场景的?
现在还没有用到,如果有的话,我想 应该是在大数据环境和游戏相关的地方吧。
Mars的开源对你有什么帮助吗?你会使用吗?
肯定有帮助,先说这一行代码能代替上千行MapReduce 就已经很吸引人了,他应该是内部封装了很多方法,供外部调用,省得用户再自己去做了,有机会会使用的。
你是否看好Mars未来的发展?
如果真的有这么好的话,是很看好的,工欲善其事必先利其器,好的工具永远是受人欢迎的

0

1150809367247907 复制链接去分享

学习

2