弹性计算 + 关注 云服务器 ECS

飞天八部产品技术月刊 2018年11月

  1. 云栖社区>
  2. 弹性计算>
  3. 博客>
  4. 正文

飞天八部产品技术月刊 2018年11月

宝惜 发布时间:2018-12-20 10:11:35 浏览940 评论1

摘要: 飞天八部产品技术月刊 2018年11月

一、关注最新商用产品技术
1、成本和性能兼得,ECS推出t5实例无性能约束模式
对于突发性能实例来说,在性能负载大于基线时会消耗积分(当然,反之性能负载小于基线时会积累积分),当积分消耗完后,t5标准实例的性能会被限制在基线。而t5无性能约束实例可以通过预支积分,或者付费的方式,继续维持系统性能,相当于信用卡版本的t5实例,灵活度更高,对突发场景的适应性更好,说是成本和性能兼得完全合适。
de79303cbe877ef9a41a47954af76d63dae86e4b
2、POLARDB发布会话一致性功能
传统的读写分离都只提供最终一致性的保证,主从复制延迟导致从不同节点查询到的结果不同。一般的解决方法是: 将业务做拆分,将有高一致性要求的请求直连到主库,最终一致性走读写分离,这样不仅会增加应用开发的负担,还会增大主库的压力,影响读写分离的效果。POLARDB提供的会话一致性保证同一个会话内,后面的请求一定能够看到此前更新所产生版本的数据,甚至比这个版本更新的数据,保证单调性,很好地解决了上述问题,保证了读写分离负载均衡的效果。
3、阿里云PostgreSQL数据库时空引擎Ganos正式上线
阿里云PostgreSQL数据库时空引擎Ganos将为各类GIS地理空间数据以及时空型数据提供云上的高效存储、查询和分析计算服务。Ganos将数据库、GIS引擎和新型时空计算整合,利用云上GPU加速、OSS大规模存储能力,为更广泛领域建立基于位置智能提供基础核心能力。阿里云自研数据库时空引擎Ganos取名于大地女神盖亚(Gaea)和时间之神柯罗诺斯(Chronos),代表着“时空” 结合。为充分与已有云数据库接口兼容,Ganos设计为一种云数据库增值服务,即以SQL型数据库(云关系型数据库服务,RDS) 和NoSQL数据库为底座扩展开发的一系列数据库引擎组件,为各类时空数据提供云上的高效存储、查询和分析计算服务。
此次发布的Ganos引擎为RDS for PostgresSQL 10版本,即用户在购买PostgresSQL 10 RDS服务时,系统将自带Ganos引擎。目前版本提供GIS几何对象数据库、MOD移动对象数据库、RS遥感影像数据库、NW几何网络数据库、LP激光点云数据库支持。用户可以针对业务中所涉及到的不同GIS及时空数据类型进行数据的统一入库、一体化存储、快速查询检索以及执行各类分析计算。
4、云数据库发布RDS for OSQL专有云商用数据库Oracle运行管控平台
RDS for OSQL是阿里云基于专有云3.7版本的商用数据库Oracle运行管控平台,为用户提供平台级服务,允许用户自带Oracle许可实例,提供自动部署、自动备份、自动实现高可用架构、自动监控,使用户平滑的将线下Oracle数据库迁移到阿里专有云而无须修改任何业务代码,大大减少了部署及运维成本。
5、文件存储NAS-SMB协议支持oplock特性,大幅提升读写性能
文件存储NAS针对使用SMB协议的客户端支持oplock(客户端缓存功能),在大型web服务、地图库系统查询等典型场景中,大幅地提升对文件的读写性能。根据某项目地图库查询场景的测试结果,oplock客户端缓存能够将地图查询响应时间从1分钟降低到2秒,性能提升30倍。
6、批量计算推出Sentieon基因数据分析应用
   

Sentieon是业界深度优化的NGS数据分析软件,能够实现和GATK同样的结果和准确性,实现10倍的计算效率提升,可满足行业内Gene Panel、WES、WGS,肿瘤样本等大多数基因数据的二级分析需求。

阿里云批量计算与Sentieon公司合作,以App应用的形式,向用户提供Sentieon基因数据分析应用。 用户不再需要单独购买软件License,架设License Server,直接以按需、弹性的方式,使用这一领先的分析软件。实现短时间内快速完成百上千个基因样本的数据分析工作,获得科研成果或者临床报告。Sentieon DNASeq,提供从fastq到vcf的最佳实践,帮助中小型用户“一键”使用Sentieon软件分析基因数据,Sentieon Runner,提供原生Sentieon命令的支持,大型/高级用户可以按照实际需求,个性化的使用该软件。

7、函数计算推出本地调试工具 Fun Local
函数计算推出本地调试工具 Fun Local , Fun Local 工具可以将应用函数在本地完全模拟运行,并提供单步调试的功能,旨在弥补函数计算相对于传统应用开发、调试体验上的短板,并为用户提供一种排查线上问题的新途径。
Fun Local 在本地开发和调试上添加了大量的新特性:支持本地运行函数、单步调试函数、事件触发函数、单步调试时支持展示 IDE 配置等,帮助用户方便地在本地操作,是函数计算工具链上的重要进展。
8、阿里云对象存储OSS发布 OSSUtil 1.4.2 版本,多项新特性增强用户体验

该版本新增特性如下:

1)、支持设置存储类型:使用cp命令上传、复制文件或目录时,用户可灵活指定目标文件的存储类型为Standard、IA或Archive,该功能实时生效

2)、显示传输速度:针对目标文件进行上传、下载操作时,实时显示传输速度

3)、支持断点续传:Windows版本支持断点续传(Linux、Mac版本已支持),大文件或目录上传更方便

4)、支持按“请求者付费模式”访问:支持使用ls/cp命令访问开启“请求者付费模式”的Bucket

 9、虚拟网络转发性能得到大幅提升,在节省大量的资源的前提下,平稳支撑了今年大促更大的业务流量

今年大促首次使用ENI直通的容器网络模式,完全bypass了宿主机的开销,让容器具备了超低的网络延迟以及全量的网络功能。

10、齐天2.0正式发布

齐天2.0增加了公网和DCN内部质量的检测,并且提供“一个用户一个入口”的一站式体验能力,大幅改善了用户体验。
11、ECS热迁移场景的SLB连接reset功能大规模上线,大幅提升了热迁移的用户体验
12、VPC和ECS支持IPv6(含IPv6网关)正式在内蒙Region发布,这标志着阿里云提供了公网
+私网全链路的IPv6支持能力
13、视频点播(VoD)海外区域新加坡、法兰克福正式上线
海外两个点播中心新加坡、法兰克福正式开始商业化,这是阿里云首个输出海外的视频SaaS服务,在提供一站式的音视频上传、转码、分发、媒资管理等基础视频服务外,还支持在线视频剪辑等增值化服务,在海外市场打造有力的差异化竞争优势。
14、视频云与区块链联合发布可信数字内容版权服务解决方案
去年全球网络盗版造成的损失已经达到近318亿美元,从国家监管力度和社会版权意识的变化上,可预测版权问题会逐渐引起重视。为了搭建应对版权保护和版权合法交易的服务和平台,阿里云区块链服务与视频DNA进行深度融合,为版权行业及内容平台客户提供一体化的版权内容保护解决方案。视频DNA技术可对多种媒体(图文、视频、音频等)进行唯一标记,依托区块链将DNA等关键信息上链,进而构建拥有版权存证、侵权追溯和版权交易等能力的平台。
官网地址:https://promotion.aliyun.com/ntms/act/solution/copyright.html
 f922c322fceec7f11833ff43ec8ace0b55083ff9

16、趣视频解决方案发布
趣视频一站式端云解决方案打通了视频采编、上传播放以及分发和媒资管理等能力,解决了短视频场景中端和云的业务需求。在功能层面,解决方案新增卡片式布局、秒级播放,并通过水印添加保护视频原创。同时,为用户提供了产品化的demo,实现与第三方合作商的对接,可帮助用户快速上线、降低开发成本。

二、洞悉技术项目进展
1、赋能云产品
经过几周产品技术架构的密集讨论,按照云服务on ECS的趋势,确定了VPC和云服务接入方案的最终演进方案。Single Tunnel/Any Tunnel/反向访问继续对内部云产品开放,进行局部优化如地址冲突规避等。同时,对云产品和外部生态提供类似AWS的Private Link产品,其正向访问和反向访问方式一致,体验更优。后续将进行详细的产品设计,架构设计和研发排期。
2、对象存储OSS首次采用混合云架构支持双十一,提供更稳定、更高效的图片处理服务
对象存储OSS是阿里集团非结构化文件的统一存储系统,为天猫、淘宝、聚划算、飞猪、饿了么、UC、优酷、小微金服、钉钉、菜鸟、Lazada等BU提供服务。存储了宝贝详情、产品主图、视频等各种媒体文件EB级数据量、数万亿文件,同时提供了完全自主开发的FPGA webp编码的图片处理服务。今年双十一中,OSS首次采用混合云架构,承接公共云服务量超过60%。OSS通过混合云资源并池解决了双十一的各项日常和洪峰访问需求,提供更稳定、更高效的图片处理服务,保障了全球数亿消费者畅快购买。
3、文件存储NAS首次参战双十一,承载支付宝账单系统卖家全网大部分流量,同时为在线电商业务提供存储计算分离的日志无盘化服务
账单系统将卖家全网大部分流量分流到NAS,可应对数十倍于日常流量的零点洪峰压力NAS对IO毛刺问题进行大量优化,并通过多项优化提升系统容灾能力,同时对消息系统整体架构进行调优,实现业务流量在NAS上均匀打散,提升系统承载大流量的能力的同时,进一步提高稳定性。双十一零点,应对每秒数十万消息TPS的业务压力,NAS稳定表现,帮助账单系统平稳支撑双十一;
针对集团Sigma日志无盘化服务的部署场景,NAS对原有架构进行演进,通过将NAS前端协议处理逻辑前置到Sigma宿主机,实现简化调度流程、减少IO路径端到端的网络跳数、提升系统Load Balance能力、优化应用体验,避免网络隔离时产生IO hang等多方面好处,使得新架构在技术上储备了支撑上万sigma容器能力。
4、日志服务全面支撑集团双十一日处理数据几十PB,峰值流量达到每秒百GB
日志服务承载阿里云/蚂蚁全站、阿里电商板块、云上数千商家数据链路,每日处理来自百万节点几十PB数据,峰值流量达到每秒百GB。集团网络/系统/中间件/业务/安全等场景大量使用日志服务作为分析引擎构建业务实时大盘,每天上万工程师通过秒级的查询能力与智能机器学习函数进行日志分析活动。
5、表格存储支撑八年双十一战役,为集团多个核心业务提供底层支撑
表格存储(Table Store)是阿里云自研的一款企业级分布式NoSQL数据库,能够提供单表PB级、每秒亿级访问量的NoSQL数据库服务。2011年开始在阿里巴巴内部使用,为淘宝、天猫、菜鸟、优酷、钉钉等核心业务提供底层支撑,日承接每秒亿级的API调用访问。
在今年双十一中,表格存储支撑优酷、手淘的双十一作战大屏;集团日志平台, cdn监控千万级的读写;交易相关链路方面,为集团、淘宝商家以及菜鸟客服平台提供了数十万的写入;为钉钉、菜鸟物流、中国邮政、先知舆情、上数等重要系统稳定性护航。
6、盘古2.0支撑集团存储计算分离经受住双11的大规模检验,平稳完成大促支持
盘古2.0作为新一代存储,在高性能、高可用、低成本等方面深度挖掘了系统的极限能力,结合RDMA网络,全用户态IO,在线纠删码和压缩等技术,为集团及云上提供稳定可靠的存储服务。该2.0版已全面支撑了Sigma在线业务、集团数据库及集团中间件等交易核心链路;为电商实时计算和搜索推荐提供了极致的IO吞吐能力;基于盘古2.0引擎的ESSD云盘也是首次亮相双11,单盘提供高达百万的IOPS,顺利通过零点洪峰考验。盘古在双十一中展现出了卓越的性能和磐石般的稳定,更大幅降低三副本成本。同时,基于盘古服务的OSS、ODPS、Hbase、蚂蚁金服等系统在海量规模、复杂业务场景下也表现如丝般顺滑。后续盘古2.0持续发力,用规模夯实基础打造普惠智能新存储!
7、视频云第四年护航集团双十一,4K超高清、智能生产、ENS首次大规模应用
本次猫晚直播清晰度全面升级,基于阿里云直播服务将现场4K的高帧率视频,实时转码处理并面向全网直播。在4K处理上,直播服务大规模使用CPU + GPU进行视频处理及转码,保障直播视频最高4K的HEVC实时转码。同时,智能生产通过ASR技术与云导播的结合,为千牛头条直播提供了智能实时字幕能力。此外,边缘节点服务(ENS)首次护航双11,帮助构建天猫电商的超低延时互动直播网络,业务洪峰下分钟级弹性扩容,使整个系统更加安全可靠。另外,CDN也为Lazada电商内容加速,为全球狂欢节用户体验保驾护航。

三、最新学术、科研、技术成果
1、首届云原生计算国际会议上,弹性计算研究员伯瑜介绍了基于虚拟化、容器化编排技术的云计算操作系统PouchContainer
首届云原生计算国际会议(KubeCon + CloudNativeCon,China,2018)在上海举办,弹性计算研究员伯瑜介绍了基于虚拟化、容器化编排技术的云计算操作系统Pouch Container。Pouch Container是类似于CNCF Kubernetes项目的容器管理平台,支撑快速部署和弹性伸缩,可能会改变软件行业开发、测试、部署和应用的模式。
2、全新一代ECS企业级实例支持双11电商交易核心链路系统
基于Intel Skylake CPU+25G网络的ECS企业级实例,计算性能稳定,单实例最大性能提升明显。2018年双十一还首次采用了基于自研“神龙”虚拟化芯片的ECS弹性裸金属服务器,同时兼具虚拟机体验和物理机级别性能,有力地支撑了双11核心关键业务APP应用、MetaQ中间件,Tair和DB数据库等系统,涉及电商、金融、物流以及饿了么等大促业务,双11期间业务性能和稳定性表现优异。
3、阿里云异构计算团队亮相英伟达2018 GTC大会
英伟达2018 GTC大会于11月20日-22日在苏州召开,大会吸引了超5000的与会者。在本次大会上,阿里云异构计算团队展出了全球首款基于弹性裸金属(神龙)架构的GPU服务器,吸引了大量关注。阿里云GPU云服务器在计算、存储、网络等方面已经融合了神龙、ESSD、和SCC网络等明星技术,完美支持人工智能等大算力场景需求。
4、云超算成新趋势, 阿里云获HPC China 2018最佳产品创新奖
由中国计算机学会主办的第十四届全国高性能计算学术年会(HPC China2018)在青岛国际会展中心举行。HPC China是国内高性能技术发展的风向标,参会者涵盖国内外学者、教育机构、HPC行业企业及用户等。阿里云受邀参与了此次盛会,并且获得了中国计算机学会高性能计算专业委员会颁发的最佳产品创新奖。阿里云研究员张献涛和阿里云高性能计算负责人何万青发表了相关演讲。
5、11月14至16日,GNTC大会上,阿里云网络专家团队全面展示了洛神、嫦娥、织女和大圣从云上到云下全系列产品
2018年GNTC大会上,阿里云网络团队专家团队全方面的展现了业界最丰富的云网络产品家族,包括:云上网络洛神(vpc、slb、nat网关、EIP等)、云间网络织女(CEN云企业网、GA全球加速)、上云网络嫦娥(高速通道、vpn网关、智能接入网关SAG)以及智能网络齐天(大圣网络智能机器人)。与友商相比,产品系列最全,用户体验更佳,架构开放从而具有良好的生态,获得用户和评委的一致好评。并且,阿里云网络凭借灵活多变的全球混合云网络解决方案荣获GNTC Innovation Award创新大奖,成为首家唯一入选该奖项的云服务商。
6、云合100”网络合作伙伴计划
中国SD-WAN峰会上,阿里云发布“云合100”网络合作伙伴计划,并与合作伙伴的代表锐捷网络、鹏博士、畅捷通和驻云科技共同启动该计划。阿里云在2019年将投入1亿元用于合作伙伴的认证培训、销售激励、硬件补助和项目支持,共同为用户打造灵动随需的混合云网络方案。
7、文件存储NAS为进博会巡检保驾护航,助力数字化展会新升级

2018年11月5日至10日,中国国际进口博览会(China International Import Expo,简称CIIE进博会)在上海举行,来自130多个国家和地区的2800家企业、超过15万买家参与展会,作为万众瞩目的一带一路国际贸易盛会,如何有效监控展位人流,部署警力安全巡检是保障大会顺利进行和国际贸易合作的重要基础。在此次大会上,基于SMB协议的文件存储NAS搭载三维地图软件, 稳定、低延时、毫秒级别的加载模型数据并快速渲染。采用巡航的渲染模式帮助公安机关高效、灵活地切换视角实时从NAS上加载数据,进而直观的监控参会人流并实时动态调配警力,保障了大会的顺利召开,为政府、产业、消费者提供了数字化、智能化的存储服务。


327e6160b06a910a60e36fb53528e972b2228b3d
扫码订阅阿里云产品技术月刊

【云栖快讯】云栖专辑 | 阿里开发者们的第20个感悟:好的工程师为人写代码,而不仅是为编译器  详情请点击

网友评论

1F
蛐蛐代金券

感谢分享!
阿里云双十二活动,服务器2折起,活动入口:
https://m.aliyun.com/act/team1212?params=N.07PRaRznlJ
阿里云官方1888元代金券领取地址:
https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=mee1l39y