Intel与合作伙伴CoreOS、Mirantis联手打造“通用资源调度平台”

简介: 本文讲的是Intel与合作伙伴CoreOS、Mirantis联手打造“通用资源调度平台”,【编者的话】 Intel在容器和虚拟化一直走在实践的最前方。虚拟化技术有两大分支:完全虚拟化和容器 Container,两者各有优劣,去年Intel 推出的 Clear Linux 项目,却声称同时拥有两者的优点。
本文讲的是Intel与合作伙伴CoreOS、Mirantis联手打造“通用资源调度平台” 【编者的话】 Intel在容器和虚拟化一直走在实践的最前方。虚拟化技术有两大分支:完全虚拟化和容器 Container,两者各有优劣,去年Intel 推出的 Clear Linux 项目,却声称同时拥有两者的优点。Mirantis也在去年8月宣布将与CoreOS进行合作,今后Mirantis推出的OpenStack都会集成CoreOS专为Linux容器所推出的Tectonic。而今走在一起给我们带来一波技术。

1.jpg

容器化和OpenStack最终将贯穿大规模实时工作负载领域?本周四(3月31日)上午,在San Francisco举行的媒体投资人活动会的上,Intel宣布与容器化平台提供商CoreOS和OpenStack平台制造商Mirantis的下一步战略合作,他们以打破壁垒为最终目标。“我们尽最大的努力确保领域最优秀的资源整合在一起”, Intel公司的VP兼云平台团队经理Jason Waxman说,“这些努力包括使用可以同时提供给虚拟机和容器的通用资源调度”。

Determinism驱动

使用实时负载流量的可预测性和可管理性使世界上主要的数据中心采用超大规模的工作负载。这是Determinism已经处理的其中一个大的障碍。金融机构、高端医疗服务提供者、电信公司等已经采用容器集装化,甚至有的采用普通的虚拟化技术。因为添加的抽象层创建了一个不可预测的因素,这样就导致了多用户租用的大规模实时工作负载变得不切实际。

CoreOS的CEO Alex Polvi对Intel云开放日的与会者发表了自己的意见,他觉得客户需要的是一个更广阔的,包括所有工作负载的部署,可以将Kubernetes作为管理层,OpenStack作为服务的提供者。“这是专门提供给需要一套基础规则管理所有服务的公司”, Polvi还说,“他们在容器上和虚拟机上都会受益良多。”

Intel、CoreOS、Mirantis这一伙伴关系的三个成员并没有透漏调度程序的技术细节。但是基于Intel之前发布的 Clear Containers 雏形,再联系到今天发布会上简要的发布报告,Intel是想减少硬件基础设施,其VT的目标就一目了然了。原始的设计是只提供微指令资源到中间件,完全跳过操作系统,VT就会有机会提供资源调度到容器平台,尤其是像CoreOS这样的设计架构。

Clear Containers设计使用了VT技术,但是容器行业的规范还是围绕着OCI来铺开的。从Intel的角度来看,Clear Container可能被当做一个可替换的容器系统,这还是蛮危险的。这样来看,CoreOS的定位是十分妥帖的。

所以这一新型的合作伙伴关系可能会导致Mirantis OpenStack部署在Kubernetes上。至少,所有形式的容器负载,以及CoreOS的rkt,Intel的Clear Container会在同一台服务器上部署是最好的。最新公布的Intel至强系列服务器处理器将提供使用者自主控制方内存的新特性。这一特性就会更好的满足扩展实时的工作负载——像纳斯达克交易满足实时性需求一样。

终结 Jitter

“过去的十年,交易市场的变化还是很大的”,纳斯达克技术部负责人Sandeep Rao说,“开始时(19年前),人们期望的交易能在2秒内完成,而现在已经是几时毫秒内了”。
2.jpg

“为什么真正的金融应用的服务不能迁移到虚拟化容器中呢?其中一个原因是他们的在线管理程序没有提供non-determinism层”,Rao说。

当一个工作负载进行虚拟化时,它的性能配置被工程师称为jitter。在一个进程的失败会引起时间消耗完的情况下,无法完成多个迭代持续进行。所以,像纳斯达克在每一个时间片内要不断根据市场的变化获取可靠的数据这样的情况,基本是不可能的——例如100或者1000个循环。因为每一个循环时间都有一个jitter的变量,谁会知道你会在其中那一个?

最后,Rao解释说:“纳斯达克在隔离的数据中心运行这一系列的操作,这个隔离的数据中心没有严格的工作负载,例如运行每天的会计对账,而另一个数据中心运行高工作负载的应用,例如市场价值估值计算。Rao说,这个二元论花费很多提供交易资金,而现在通过测试部署Intel的至强E5 v4处理器后都可以被节省出来(公司的E5系系列的第4版本)。

E5的v4处理器将使用一项在v3上处于试验阶段叫做 资源总监的新技术 。这项技术将允许参与者调度进程分区的缓存资源,这样虚拟机和容器平台就不用过度使用虚拟缓存。过度使用缓存就会触发“缓存命中失败”,从而导致不确定性的过度工作负载。这种非正常的现象绝对不能出现在纳斯达克的数据中心系统。

Rao告诉与会者,在纳斯达克正式使用的这个产品线上,E5的v4处理器足够稳定,它能为单一的、统一的数据中心在一个平台上提供稳定的调度。

良性循环

3.jpg

上面是CoreOS/Mirantis/Intel合作商的的合影。为了完成纳斯达克目前可预测的大规模需求,需要一个统一的调度标准。这个需要绕过单一供应商专利或者首选规模部署工作负载。

Intel的Waxman说:“我们现在最关心的一个问题是,使用统一的资源调度云后的计算效率”,“很多有趣的容器,也有很多新的公司涉入虚拟机,他们都需要一个调度器能有效的处理工作负载,能够自动适应弹性云。如果没有一个有效正式的日程计划,这个行业的发展也不会像他期望的那样。”

“为了OpenStack上的大量采用容器化的应用使用资源调度”,Mirantis的首席执行官 Alex Freedland说,“用户可以简单的使用,最终用户的价值将是这个运行容器和裸机的平台,不在需要关心是否加入统一的资源调度”。 Freedland补充说,“所以一定要确信容器声明周期的管理”。AT&T的引用数据显示数据中心的50%的花费在生命周期的管理。

周四进行了一个有意思的调查,Waxman引用了一个来自Intel合作商Andy Grove的报告( 谁将在79岁比这个月早的时间去世 ),Grove指出,创造标准的过程有利于促进组织的良性循环,而组织的良性循环又可以推动建立标准但是Waxman指出,这需要一个质的飞跃的开始,而现在正是一个最新的起点。

“尽管开源是一个伟大的标准,也是一个可行的良性循环,”Waxman说,“我们仍然可以看到,某些人在阻止开源,他们并没有提出整个的功能和能力使真正是标准化向前迈进”。 在Intel,我们不准备坐等就这样发展下去,我们必须要参与其中,必须做出新的努力为创造做出贡献。

原文链接:Intel Partners with CoreOS, Mirantis to Build a ‘Universal Resource Scheduler’(翻译:张亚龙)

原文发布时间为:2016-04-09 
本文作者:ylzhang 
本文来自云栖社区合作伙伴DockerOne,了解相关信息可以关注DockerOne。
原文标题:Intel与合作伙伴CoreOS、Mirantis联手打造“通用资源调度平台”
目录
相关文章
|
11月前
|
缓存 安全 Cloud Native
带你读《云原生机密计算最佳实践白皮书》——Intel SGX SDK/PSW/DCAP: Intel SGX 软件开发套件和平台软件服务(1)
带你读《云原生机密计算最佳实践白皮书》——Intel SGX SDK/PSW/DCAP: Intel SGX 软件开发套件和平台软件服务(1)
914 0
|
11月前
|
Cloud Native 开发工具
带你读《云原生机密计算最佳实践白皮书》——Intel SGX SDK/PSW/DCAP: Intel SGX 软件开发套件和平台软件服务(2)
带你读《云原生机密计算最佳实践白皮书》——Intel SGX SDK/PSW/DCAP: Intel SGX 软件开发套件和平台软件服务(2)
677 0
|
机器学习/深度学习 人工智能 安全
龙蜥白皮书精选:龙蜥全面支持 Intel 第四代可扩展处理器 SPR 平台
EROFSEROFS是为高性能只读场景量身打造的内核文件系统,提供了多层镜像、透明压缩等特性,于Linux 5.4正式合入Linux主线。
龙蜥白皮书精选:龙蜥全面支持 Intel 第四代可扩展处理器 SPR 平台
|
缓存 负载均衡 网络协议
[译]Linux平台Intel以太网控制器x710/xl710性能调优指南
介绍如何在Linux平台对intel x710/xl710进行性能调优
2340 0
|
存储 弹性计算 Shell
Intel 平台操作视频|学习笔记
快速学习 Intel 平台操作视频
78 0
Intel 平台操作视频|学习笔记
|
人工智能 分布式计算 Apache
《# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】》电子版地址
# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
141 0
《# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】》电子版地址
|
机器学习/深度学习 人工智能 Linux
Intel 技术专家直播:x86平台上,AI能力的演进及深度学习加速的关键技术
今天晚8点,扫码图中进入 InfoQ直播间,等你一起来探讨在英特尔各代 x86 平台上,AI 能力是如何进行演进的?
Intel 技术专家直播:x86平台上,AI能力的演进及深度学习加速的关键技术
|
机器学习/深度学习 分布式计算 并行计算
10月15日社区直播【Intel MLlib:构建平台优化的Spark机器学习】
Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时,在底层利用原生算法库来实现在CPU和GPU上的最优化算法,同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明,该软件包在最小化应用改动的基础上,可以极大地提升MLlib算法的性能。
10月15日社区直播【Intel MLlib:构建平台优化的Spark机器学习】
|
机器学习/深度学习 分布式计算 大数据
# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
**直播时间**: 2019.01.10(周四) 19:00 - 20:00 **主讲人:** 黄凯——Intel大数据技术团队软件工程师。 卫雨青——Microsoft C+AI 团队软件工程师。
1662 0

热门文章

最新文章