走进阿里云计算

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 2016阿里巴巴技术论坛,阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清在云计算与大数据技术分论坛向我们呈现了精彩的演讲。本文是一个技术小白分享他参加分论坛的所见所闻。

2016年4月15日下午,我参加了阿里巴巴技术论坛的《云计算与大数据技术分论坛》。会议讨论主题涉及飞天技术与应用、大数据计算平台的研究与实践、大规模实时计算及应用和云上安全。阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清向我们呈现了精彩的演讲。

66bd1a41a66e74bd35a36b316c1f7d4b172f78a3

何为云计算?

“云计算”对于我们来说,早已经不是一个陌生的词汇了。对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

阿里云飞天总架构师唐洪为我们揭示了云计算的三个本质问题:大规模,云计算是应互联网而生并且为互联网服务的;低成本,低成本不等于低价格,调度才是关键;服务运营,像公共服务一样按量计费。

云计算的作用很大,其中让我感触最深的是云计算能够降低创业的门槛。这主要体现在两个方面:一是可以降低成本门槛,二是可以降低技术门槛。随着云计算的逐渐发展和成熟,云主机已经可以基本替代传统的物理托管主机,并且具有弹性配置,按需自助服务,价格优惠等优势,近两年的趋势就是越来愈多的客户会选择云主机服务。现在的创业模式完全不同于以前,人们对传统IT资源的依赖性越来越小,但云端工具的依赖性却变得越来越大,这些工具可以帮助他们将脑中的想法变成现实、转换为成功的创业模式。在全民创业、万众创新的大趋势下,云计算让大小企业站在了同一个起跑线上,小公司通过云计算也拥有了大公司一样的能力,可以去做他们想做的创新。我们手机上各种APP的诞生不断见证着云计算的重要价值。云计算还有两个作用是赋能业务创新和支持传统产业升级。

飞天的了解和感受

飞天系统是阿里巴巴的大规模分布式操作系统。由于之前不了解分布式系统,所以自己在网上查找了一些分布式系统的概念和理解。通俗点说,分布式系统就是把服务器端程序分开部署到多台机器上。飞天的两个设计原则是:以大规模通用计算平台为基础,同一套系统支持离线和在线服务,多租户、资源共享、削峰填谷;以Web API方式提供服务,即时开通按量付费,集群边界、位置对用户透明。

通过了解飞天的历史,我真正感受到,没有创新就没有飞天,没有飞天就没有现在的阿里云。飞天系统的研究是在阿里巴巴IT费用的增长超过了业务的增长这个背景下提出的。经过阿里人的创新和努力,飞天的出现让用户感觉不到地域的边界,给阿里各种业务带来强力支持的同时给其他大小公司的发展也带来了希望。

一个感兴趣的算法

大数据系统的发展趋势由数据和计算规模转变为时效性和计算延时。大规模实时计算的特点包括:超大规模,每天处理几十亿事件、上千个计算节点;复杂计算,几十个计算阶段、复杂JOIN语义和几十TB内存状态;容错,从系统维护和异常故障中自动恢复。其系统架构为移动设备、传感器、云服务器、事件存储、在线服务通过实时计算平台将计算结果传给移动设备、监控终端、商业报表和实时大屏。

在实时计算分析的讲解过程中,我对阿里云高级专家钱正平讲的流计算比较感兴趣,钱老师通过通俗易懂的讲解和精心准备的示意图让我对流计算有了一定的理解。任何分布式计算都可以通过全局快照存下来。但使用全局快照的一个问题是,一个人出现问题时,所有人都得跟着回滚,这样就会造成系统的延时。在此基础上提出了无状态计算,即假设流计算没有状态,check输入输出的映射关系,建立依赖树。这个方法存在的问题是计算量太大,而且不能保证每个映射关系都找到,容易丢失信息。其中,容错面临的挑战包括三个方面:对上游依赖;重构计算状态;影响下游计算。更好的一种方法是迷你批处理(mini-batch),将输入流数据分批后通过批处理引擎得到输出流。这种方法也存在问题:批大小决定性能延时、容错粒度,存在不必要的耦合。这就需要进行上下游解耦,提供“持久化”管道。其实对于单个节点,可以利用计算快照的方法,这样就可以从任意一个快照重启计算,容错性得到了保证。其中,容错策略包括:基于数据依赖重算、检查点回放、持久化流状态。

e7c537ebfd4505d41c68f7dace8c2a5d1b466d2c

通过这些算法的分析,我深深地体会到了实时计算正在加速创新、改变世界,我们需要新的计算机系统研究方法。

云安全感想小谈

其实,在平时的生活中,我们对云计算的安全问题并没有足够的重视,总会感觉这些不应该是我们需要考虑的问题,但是黑客的攻击确实离我们并不遥远,我们掌握在黑客手中的个人信息正在逐年增多。有些人会想通过只建立局域网来防止黑客入侵,但实际上物理隔绝并不能绝对安全。

在云安全方面,数据能力是核心竞争力,支撑云安全的是顶级的威胁情报、顶级的计算能力、顶级的响应和处理能力。其中一种防御的思路是根据信誉,借助大数据进行分析。

总结

今天下午的演讲有很多干货,对于我这个入门学生来说,有些地方仍有很多疑问,将来要通过自己的努力多学习一些这方面的相关知识。

每一个新事物的出现都不是一帆风顺的,阿里云也是如此。但是阿里云面对问题时,一直在努力不断的寻求解决方法,这些问题也不断促进云平台的成熟。如果听到批评的声音就放弃,才是最大的失败。批评是最容易的事情,而塌下心来解决问题并坚持才是王道。只有坚持走自己的路,不被别人的看法左右,才会有成功。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
Java 云计算
阿里云国际站代理商:Java计算当前时间处于某段时间内的第几周、第几个月
@luotuoemo飞机@TG阿里云国际站代理商:Java计算当前时间处于某段时间内的第几周、第几个月,以上就是使用Java代码计算当前时间处于某段时间内的第几周和第几个月的全部内容。通过该篇文章,我们可以了解到如何使用Java的Calendar类以及日期函数来计算时间段内的周数和月数,掌握相应的计算方法和实践技巧。在开发过程中,合理运用这些方法,可以方便地获取时间相关的信息,满足业务需求,提高开发效率。希望本文能对读者在使用阿里云国际站代理商开发Java应用时计算时间段的周数和月数提供一些帮助与启示。
|
5月前
|
弹性计算 人工智能 安全
阿里云弹性计算产品线负责人张献涛 为计算提速,弹性计算的创新与普惠
“阿里云始终围绕‘稳定、安全、性能、成本、弹性’的目标不断创新,为客户创造业务价值。”10月31日,杭州云栖大会上,阿里云弹性计算计算产品线负责人张献涛表示,通过持续的产品和技术创新,阿里云发布了HPC优化实例等多款新品,性能可提升40%,并对g8i等多款第八代ECS实例升级算力、降低成本,让客户真正体验到云计算带来的创新和普惠。
阿里云弹性计算产品线负责人张献涛  为计算提速,弹性计算的创新与普惠
|
8天前
|
存储 机器学习/深度学习 网络协议
阿里云企业级ARM计算规格族特点、适用场景及收费标准与活动价格参考
阿里云企业级ARM计算规格族是阿里云继X86计算、异构计算、弹性裸金屈服务器、超级计算集群之后推出的全新架构云服务器,ARM计算规格族有通用型实例规格族g8y、计算型实例规格族c8y、通用型实例规格族g6r等。下面是阿里云企业级ARM计算规格族特点、适用场景及最新收费标准和活动价格参考。
阿里云企业级ARM计算规格族特点、适用场景及收费标准与活动价格参考
|
1月前
|
存储 机器学习/深度学习 并行计算
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下不同类型的云服务器有何不同,主要特点及适用场景有哪些。
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
|
1月前
|
存储 安全 网络协议
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考
在阿里云2024年的上云采购季活动中,除了以往活动中有的轻量应用服务器和经济型e、通用算力型u1、计算型c7、通用型g7实例之外,阿里云还新增了计算型c8a、通用型g8i/g8a和g8y实例规格,这些都是具有超高性能的AMD&Intel&倚天第八代云服务器,那么这几个云服务器实例规格的性能及适用场景是怎样的呢?本文为大家介绍阿里云计算型c8a、通用型g8i/g8a和g8y实例规格性能及适用场景。
368 0
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考
|
2月前
|
存储 弹性计算 安全
云服务器ECS_云主机_服务器托管_计算-阿里云
云服务器ECS_云主机_服务器托管_计算-阿里云,阿里云服务器是什么?云服务器ECS是一种安全可靠、弹性可伸缩的云计算服务,云服务器可以降低IT成本提升运维效率,免去企业或个人前期采购IT硬件的成本,阿里云服务器让用户像使用水、电、天然气等公共资源一样便捷、高效地使用服务器
云服务器ECS_云主机_服务器托管_计算-阿里云
|
2月前
|
弹性计算 大数据 测试技术
阿里云服务器服务费怎么计算?详细解析2024新版
阿里云服务器服务费怎么计算?详细解析2024新版,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月
47 1
|
2月前
|
存储 弹性计算 大数据
云服务器ECS_云主机_服务器托管_计算-阿里云
云服务器ECS_云主机_服务器托管_计算-阿里云,阿里云服务器全方位介绍包括云服务器ECS优势、云服务器租用价格、云服务器使用场景及限制说明,阿里云百科分享云服务器ECS介绍、个人和企业免费试用、云服务器活动、云服务器ECS规格、优势、功能及应用场景详细说明
34 0
|
3月前
|
存储 缓存 资源调度
阿里云购买云服务器选择经济型、通用算力型、计算型、通用型、内存型实例参考
在我们通过阿里云的活动选购云服务器的时候会发现,相同配置的云服务器往往有多个不同的实例可选,而且价格差别也比较大,这会是因为不同实例规格的由于采用的处理器不同,底层架构也有所不同(例如X86 计算架构与Arm 计算架构),因此不同实例的云服务器其性能与适用场景是有所不同。本文为大家详细介绍阿里云的经济型、通用算力型、计算型、通用型和内存型实例的性能特点及适用场景,以供大家选择参考。
阿里云购买云服务器选择经济型、通用算力型、计算型、通用型、内存型实例参考
|
3月前
|
存储 机器学习/深度学习 人工智能
阿里云倚天云服务器计算型c8y、通用型g8y、内存型r8y实例性能介绍及活动价格参考
计算型c8y、通用型g8y、内存型r8y是阿里云推出的基于ARM架构的新一代阿里自研倚天实例,采用阿里自研倚天710处理器,基于最新一代CIPU架构,通过芯片快速路径加速手段实现计算、存储、网络性能的大幅提升。其中计算型c8y实例网站应用、各种类型和规模的企业级应用,通用型g8y实例适用于网站应用、各种类型和规模的企业级应用,内存型r8y实例适用于网站应用、各种类型和规模的企业级应用。本文为大家详细介绍倚天云服务器实例的主要性能和最新活动价格情况。
阿里云倚天云服务器计算型c8y、通用型g8y、内存型r8y实例性能介绍及活动价格参考

热门文章

最新文章