大规模计算平台研究与实战-直播-云栖社区-阿里云

大规模计算平台研究与实战

主播：云栖徒骇视频数：300

公告：欢迎大家积极提问，请点击直播页面下面的“问答”标签，提出问题。讲师会回答大家提出的问题，也欢迎大家彼此分享经验技巧。

直播已结束，回放生成中。

弹

直播介绍相关视频

MaxCompute是由阿里云自主研发，是阿里巴巴自主研发的海量数据处理平台。能够在多个单机群达万台跨集群的计算平台上提供针对TB/PB/EB级数据分布式处理能力，应用于数据分析、挖掘、商业智能等领域。提供海量数据仓库的解决方案以及针对大数据的分析建模服务。支持阿里巴巴和蚂蚁金服绝大多数计算分析任务。本次演讲向大家介绍MaxCompute中的在面对超大规模的活动中如何满足阿里巴巴上万用户不同计算任务在延时，性能，规模上不同需求并在全局做到低成本，高性能，高弹性，高可用。同时如何能够在保证高可用的计算服务和用户数据的安全性下能够持续发布改进计算平台。

演讲要点:

伏羲资源调度和多租户管理
分布式场景中的查询优化
基于历史数据的优化
跨集群计算使得计算突破单机群限制
大规模计算平台如何进行持续改进和发布

问答

readygo | 3年前

回答

林伟：

给你一个问题，我们在伏羲调度系统上希望去提高一个调度算法，如何进行测试这个改动是提高系统性能呢？ 1）我们没有可能fork一个系统去测试，资源上不允许，也没有合适的负载。 2）同在一个集群测试，用少数任务用新的调度算法，可能会欺骗你，因为可能是少数者光环。如果大家都用这个新的调度算法，可能适得其反

cuda_study | 3年前

回答

liu_andy：

MaxCompute可以以专有云的服务方式来做部署，最小化取决于用户的数据量及计算规模。

云栖徒骇 | 3年前

回答

liu_andy：

MaxCompute上集成了很多执行引擎，像 SQL 、MR、Graph、MPI。借助这些引擎可以做很多事情，像常见的网站日志分析，MaxCompute支持使用Flume、Fluentd等开源的软件将日志数据实时导入然后做处理。 MaxCompute采用列存储压缩存储数据，成本非常低，对于历史数据存储、挖掘的场景也非常适合。

云学习小组 | 3年前

回答

运营狗子：

lock-in，你是说被阿里绑架吗，我们在用户接口上兼容开源（我们还在提高兼容性，因为开源系统api也在不停有变动），所以不会有lock-in的问题并且这个也是另外一个不同部署开源系统，我们希望提供是一个长期数据服务，而不是一个软件包，所以我们系统需要能够有很好的向后兼容性，这样能使得用户的程序能够在不间断服务的情况下不停的升级（我们内部正是有这个强需求），享受我们最近的一些技术。
萧宇@52：

MaxCompute2.0开发了全新的解析器和引入开发了基于代价的优化器，在兼容Hive语法和语义和开发应用各种基于规则的优化器(Rbo)的前提下，引入和开发了基于统计数据指导下及其知道下更精确的optimizer组件，增加了全新的优化规则。
林伟：

lock-in，你是说被阿里绑架吗，我们在用户接口上兼容开源（我们还在提高兼容性，因为开源系统api也在不停有变动），所以不会有lock-in的问题并且这个也是另外一个不同部署开源系统，我们希望提供是一个长期数据服务，而不是一个软件包，所以我们系统需要能够有很好的向后兼容性，这样能使得用户的程序能够在不间断服务的情况下不停的升级（我们内部正是有这个强需求），享受我们最近的一些技术。

展开全部答案

零式 | 3年前 maxCompute不负责收集数据，只负责处理数据吗？数据怎么导入maxCompute中？

回答

dejun.xiedj：

MaxCompute提供数据通道服务，用户数据可以以批量或者增量的方式上传到MaxCompute。具体可以参考MaxCompute官方文档：https://www.aliyun.com/product/odps?spm=a21gt.99266.488921.3.WFue6x

小哇 | 3年前专家你好，正在听您的演讲。特别想了解下，现在有Hadoop、Spark、Storm等热门的大数据框架，你们为什么还会去自研大数据平台？

回答

林伟：

第三，就是做到用户精细控制数据访问控制，从而做到最大程度保护用户数据，同时又可以灵活分享发布自己的数据来让服务商来根据这些数据去创造更好用户服务。在这个系统上，我们还打造数加等多款数据加工平台，提供智能推荐，智能语音，图像视屏处理，机器学习，数据流控制，监控，数据发现，任务调度等等，从而能够帮助用户更好的去处理他的数据
林伟：

第二，开源系统本身也需要完善，在规模上，性能上，功能上，我们内部对于大数据计算有些更高的要求，我们希望通过这个更好需求下去推动系统的提高，并且开源还缺乏一些配套组件，比如数据仓库，数据质量管理，部署，监控。所以我们希望我们能够完善这些，从而提供更完整的服务体验，所以从这个角度上，MaxCompute提供更像bigquery是一个开放共享（区别于用虚拟器加开源的软件包）计算服务平台，当然我们也努力把我们的工作比如optimization等回馈社区，并且从api接口上去兼容社区，从而帮助我们用户更加好的来使用我们的服务
liu_andy：

感谢您的提问。的确现在有很多开源的软件，阿里第一天处理大数据时也是使用的Hadoop，当时阿里Hadoop集群服务器数量超过了2000台。随着集团数据业务的增长，2000台无法满足数据处理的需要了，再向上扩展机器的时候，Hadoop已经无法支持跨机房数据存储和计算的需求。同时阿里在使用Hadoop的时候，也遇到了一些问题，像数据安全，今天MaxCompute的权限可以做到字段级授权。在日常数据业务中，不同的用户也需要流计算、机器学习算法，这些作业都需要混合运行在同一个集群中。如何为作业合理的分配资源、进行作业管理，也是在Hadoop时代无法很好的实现的。我们吸收了开源软件的优点，同时结合复杂的数据业务，在这种情况下 MaxCompute诞生了。MaxCompute是阿里的攻城獅们使用C++代码一行一行写出来的，性能要比开源的软件高很多。去年MaxCompute参加了Sort bench mark 大赛，用377秒完成100TB数据的排序，以优异的成绩获取了第一名，而第二名用了1378秒。。
林伟：

有以下考虑：第一，我们有众多的开源的大数据框架，比如hadoop，spark，storm，大家基本上是在虚拟集群中去部署运用的，这些计算框架较少考虑多租户的使用场景，需要依赖虚拟机去做各种资源的隔离和共享，但是这种方式对于计算任务太重并且粒度不够小和灵活，对于阿里内部本身这么大体量的计算任务来说，从成本，性能，和规模上都达不到目标，这是为什么各个大公司内部都有一个自研的大数据平台，比如Azure, Google

展开全部答案

tigerzh | 3年前比如在一个省16个地市，分析套牌车，可不可以把每个地市的数据都放在本市，不会汇聚到一个机房，开展大规模分析应用？！

回答

少杰：

很好的问题。这个问题牵涉到两个经典的分布式数据处理的pattern：“汇聚到一个机房”是集中化的数据仓库的解决方案，这在传统的data warehouse上比较常用，MaxCompute以及很多开源系统都支持这种模式。“不汇聚到一个机房”需要有跨数据中心（跨城市）的分布式计算能力，MaxCompute在一定程度上支持这种模式。具体的应用上和你的想法有一些出入。

发送

提问 0/100