云计算如何测“benchmark”?

简介:

笔记本、服务器甚至是手机,只要有新的产品发布,就会伴随着一个又一个的基准测试性能指标对比。Benchmark(基准测试)这个英文单词也已经被越来越多的人熟识。但是云计算出来后,怎么就没有一个Benchmark了呢?用现有的CPU基准测试工具不能对云计算系统进行测试吗?

 云计算如何测benchmark?

一直让人看不清的“云”

经常有人宣传,云计算将让计算资源变得和自来水、电一样,只需要插上插头、打开开关就可以随意使用。从而像爱迪生发明灯泡一样再次改变我们的生活。这句话是否有夸大的成份,不能确定,但是从下面这两张人们用手机拍照的照片可以看出,云已经将我们的生活改变了……

云计算如何测benchmark?

自拍后将图片通过社交媒体发布背后需要什么样的云计算技术进行支持,并不是本次要分析的重点。这里想讨论的是,这个与人们工作、生活越来越息息相关的“云”要怎么去评估?

在一个公有云上,用户选择的2核、4核、8核虚拟服务器到底可以提供什么样的计算能力?云计算的弹性可扩展到底能自如扩展到什么程度?用户来购置一套超融合设备到底可以承担多高的应用负载?

上述疑问还没人可以说的清楚,回答往往是“您可以在现实的网络环境中去试,有问题提交给我们再帮您解决……”

表面上看确实没有什么问题,云本来就是可以弹性扩展的,运算资源不足加vCPU,加内存,存储不够就加存储,网络不足加带宽,计算、存储、网络都可以随着应用需求来自由调节。

而实际情况是这样的吗?

虚拟服务器的处理性能与真实服务器比较会有多大区别?

云计算系统可以承载的最大虚机数量是多少?

最多可以承受多少用户的同时请求?

不清楚这些数据,真等现网出现故障的时候,能及时把问题解决吗?当用户体验受损导致客户流失后还可以再重新挽回吗?挽回损失所花费的代价会有多少?

云计算距离用户越近,为什么用户反而越无法看清?

盲人摸象——云计算评估的痛点

用传统的CPU测试工具是否可以对云计算虚拟系统进行评估?为什么长期没有一个针对云计算测试的Benchmark出台?

这个问题可能用两个字就可以回答——规模。

“云”是一个包含着网络、计算、存储的庞大而又复杂的系统。在网络方面,倒是有一些专用测试仪表和专业测试工具可以对网络层和应用层网络性能进行测试。但是在计算和存储方面,当前的服务器和存储测试软件,往往还是基于单点处理性能进行评估。难以对大规模分布式计算、存储系统进行评估。

仅仅利用传统计算或存储测试方法对云计算的少量节点进行测试,永远是盲人摸象,得到的结果也只能是似是而非。即便是获得了某个虚拟服务器或某个存储节点的测试性能数据,但这并不能表明在大规模虚拟化应用时,依然会有这样的应用性能体现。

同样,由于云计算大规模应用测试平台的匮乏,也在极大的制约着云计算技术的正常发展。当前云计算产品技术突飞猛进,新硬件、新版本层出不穷。可是没有一个可靠的云计算测试手段对其进行评估的话,谁又能保证这些新产品是否真的稳定可用?

这不,刚看到前两天某某云华东地区部分ECS服务器又(为什么要说又)出现TOP级故障问题。那没出问题的是不是就真的可靠呢,也未必,很有可能是使用的用户还少……

 云计算如何测benchmark?

像照片上这种超高密度花样翻新的计算、存储产品,真的可以保障在大规模应用中不出问题?有什么数据可以进行证明

SPEC Cloud_IaaS 好菜不怕晚

如果问测试CPU最权威的工具是哪个,肯定有人会回答是SPEC CPU。如今SPEC又面向云计算服务提供商、云计算软、硬件厂商和云计算学术研究人员,推出了全球首个测试基础设施即服务(IaaS)性能的Benchmark工具——SPEC Cloud_IaaS。

SPEC Cloud_IaaS可以模拟多种I/O和CPU密集型云计算工作负载,模拟标准社交媒体NoSol数据库应用场景,对云计算软、硬件产品的多种性能指标进行基准测试。协助用户更加全向的对云计算产品进行深入了解。同时也可以协助云计算厂商,对自身产品进行完善,尽量减少现实运营过程中,云计算系统故障的发生。

10月27日-28日SPEC亚洲峰会(暨全球计算机系统标准性能评估组织2016年度技术峰会)将在北京召开,届时SPEC组织的核心成员,包括SPEC总裁Walter Bays、SPECpower委员会主席Klaus-Dieter Lange将亲临大会现场与中国用户交流。同时还将有更全面的SPEC Cloud_IaaS测试方法对外公开发布。欢迎对此感兴趣的同仁踊跃参与。



原文发布时间为:2016年10月17日

本文作者:毕波

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
2月前
|
人工智能 测试技术 API
你知道哪些新兴的测试技术?
你知道哪些新兴的测试技术?
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
登顶全球最权威AI性能基准评测,百度飞桨给分布式训练创造了标杆
登顶全球最权威AI性能基准评测,百度飞桨给分布式训练创造了标杆
166 0
登顶全球最权威AI性能基准评测,百度飞桨给分布式训练创造了标杆
|
运维 监控 安全
更安全更稳定,阿里云斩获多项云系统稳定安全运行优秀案例
近日,阿里云凭借在稳定性领域的全栈投入,获评中国信通院混沌工程实验室 2022 年度杰出贡献企业,并斩获“云系统稳定安全运行优秀案例”活动中多领域优秀案例。阿里云持续推动企业 IT 系统建设,保障千行百业安全稳定的实现数字化转型与创新。
更安全更稳定,阿里云斩获多项云系统稳定安全运行优秀案例
|
机器学习/深度学习 人工智能 算法
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
120 0
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
|
机器学习/深度学习 算法 IDE
ML训练成本降90%,被万家公司使用:进入中国的Amazon SageMaker你也能免费试试
那个为上万家公司提供机器学习服务的强大工具 Amazon SageMaker 终于进入中国了。
278 0
ML训练成本降90%,被万家公司使用:进入中国的Amazon SageMaker你也能免费试试
|
人工智能 算法 安全
微软核心业务即将上线Project Cortex:AI知识图谱大幅提升企业效率
微软正为旗下核心服务 Microsoft 365 引入知识图谱功能:通过 AI 算法对数据的整合,很快我们就可以在日常工作中享受人工智能技术带来的各种便利了。
174 0
微软核心业务即将上线Project Cortex:AI知识图谱大幅提升企业效率
|
存储 测试技术 云计算
|
机器学习/深度学习 测试技术 算法框架/工具
【测评】GPU训练机器学习模型哪家强?AWS、谷歌云、IBM等6大平台对比
使用官方数据和Credit,初创公司Rare Technologies最近发布了一个超大规模机器学习基准,对比了AWS、谷歌云、IBM等6家GPU硬件平台,从配置到训练时间、精度、价格等各方面。AWS和谷歌虽然整合性能好,但是性价比还是LearderGPU这样的新公司占优。
5851 0