重磅|阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合,建立了以自研云原生数据库POALRDB为基础,联合NoSQL大数据平台(Ali-HBASE和X-Pack Spark)的完整时空地理信息云化管理解决方案。

1、HBase Ganos是什么

Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合,建立了以自研云原生数据库POALRDB为基础,联合NoSQL大数据平台(Ali-HBASE和X-Pack Spark)的完整时空地理信息云化管理解决方案。

HBase Ganos是为PB级分布式、大规模时空数据管理而生,主打NoSQL时空大数据处理能力,兼容HBase、Spark、GeoMesa、GeoServer等广泛开源生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。

IMG_1014.PNG

2、新版本重要特性

全球首发时空栅格引擎云服务,支撑航天航空遥感云计算与智能化发展

对地观测技术的快速发展正促使遥感应用走向在线化和服务化。全新的云上时空栅格数据引擎面向未来遥感大数据云端智能分析计算需求而设计,采用了极为灵活的时空数据组织方式,在保留多时相、多分辨率且每一寸像素光谱信息的同时,兼顾传统遥感应用的快速浏览需求。引擎内置的ETL工具可以打通OSS、HBase、POLARDB/PG等数据存储产品,支持栅格数据的全自动化快速入库,包含投影转换、数据分块和索引创建等。栅格数据存储组织支持多种模式,常用的包括全球标准格网剖分和本地坐标系格网剖分(见下图)。

IMG_1062.PNG

此外,2.5版本发布全新的时空Cover数据模型。Cover模型物理上维护每一幅遥感影像的独立性,同时支持海量遥感影像基于时相和空间条件的动态拼接,逻辑上实时生成时空动态一张图,为遥感智能化分析计算应用提供强大数据模型支撑。

IMG_1063.PNG

与X-Pack Spark、 GeoTools集成,提供兼容OGC标准的空间数据访问接口

2.5版本提供了更全面的访问方式,包括基于GeoTools API的访问、支持GeoJson作为时空数据结构的REST API、以及空间GeoSQL支持,可最大程度兼容不同用户需求。其中,Ganos Spark模块提供了一系列UDF空间算子实现了基于OGC标准的GeoSQL的空间数据查询,例如:

7d8f3636f5a843dfe43c55915e260c9707cdd4df.png

这些空间算子主要包括Geometry Constructors函数、Geometry Accessors函数、Geometry Cast函数、Geometry Editors函数、Geometry Outputs函数、Spatial Relationships函数以及Geometry Processing函数等,算子功能将按需扩展。

IMG_1064.PNG

支持时空几何、时空轨迹数据建模,成本、性能获得综合优化

2.5版本支持丰富的时空几何数据、时空轨迹数据建模,数据类型包括点、线、面等时空对象。在此基础上,还提供了完备的时空模型操作能力,既可以支持空间范围查询,也支持“时间+空间”的多维查询。
在性能优化方面,采用了空间谓词下推技术,查询时可将空间过滤条件下推到存储层执行,从而减少I/O开销,降低查询时延。另外,结合阿里云X-Pack可构建强大的时空分析平台,借助空间分区、分区索引、基于内存索引以及Fast Spatial Jion等性能优化手段,可大幅提高查询分析性能。

在成本控制方面,针对时空数据写入膨胀的问题,新版本在索引生成、时空模型编码、冷热分离存储等方面进行了全面优化。在索引生成阶段,对索引的控制力度更细,可按需建立索引;在时空编码方面,使用了TWKB编码,同时用户可指定写入数据的精度,减少数据的存储长度;在冷热分离存储方面,借助阿里云OSS存储,可使得存储成本下降70%以上。

3、典型应用场景

航天航空遥感应用

对地观测、商业航天、无人机测绘等快速发展,积累了大量的遥感影像数据。数据规模的不断扩大给数据时空化组织以及大数据和智能化应用带来了极大挑战。未来需要探索数据在线、应用能力在线、用户购买服务模式。Ganos可以为云平台商、卫星数据厂商、平台服务商等构建遥感智能化大数据云平台提供时空云基础设施支撑,解决最底层关键技术,并在传统编目化管理和切片化应用基础上获得全新架构的快速演进,从而在遥感智能化浪潮中聚焦业务并获得先机。

互联网出行

互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。以供需预测为例,基于对历史轨迹数据的分析,并结合实时订单数据,预测当前订单密集区域的分布,提高接单概率并减少司机空驶时间。这背后涉及到大量时空型数据和业务信息的快速读取,并结合业务算法进行预测,利用HBase Ganos可有力支持该业务场景。

传感网与实时GIS

在环保、气象、水利、航海航空监测等领域,需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标,比如污染监测、水位监测、降雨量监测、航标监测等。HBase Ganos可以为构建实时GIS大数据应用提供稳定、可靠、弹性、免运维的PaaS服务,为地理国情常态化监测和智慧城市建设提供基础平台。

车联网

海量的车辆终端在不断地产生轨迹数据,轨迹数据包含了时间和空间位置。利用HBase Ganos,实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外,还可以进行时空查询,如查询某段时间的轨迹,某段时间进入该区域的车辆等。结合大数据分析框架(如Spark)还可以进行穿越分析、区域分布热力图等。

智慧物流与外卖递送

在物流与外卖等领域,需要实时监控车辆、骑手的位置,以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报,云端需要处理高并发写入并进行实时路径规划、偏航监测等计算,背后都需要大量的时空计算。

4、典型案例&架构

航海船舶大数据平台

场景:全球AIS船舶实时位置数据,每天上亿条轨迹写入,要求轨迹时空/时序查询秒级响应,具体包括:
• 监管区域实时地理围栏判断;
• 轨迹区域回放(指定区域+指定时间段);
• 轨迹回放(指定时间段查询)。
架构说明:
• AIS等数据经过Spark平台清洗、融合完成后,构建数仓;
• 对外提供查询的数据存储到HBase Ganos中,可供前端各类应用进行时空查询(如地理围栏、轨迹回放等);
• 整体系统的查询时间在毫秒级,数据清洗在分钟级。

IMG_1065.PNG

位置服务平台

场景:实时采集车辆设备轨迹,40万+终端设备,3万+轨迹点/秒峰值;对外提供实时位置查询、地理围栏、轨迹相似度判断等服务;
架构说明:
• 利用POLARDB Ganos的MOD移动对象数据库保存业务、GIS和行程轨迹现势数据,而HBase Ganos保留所有历史轨迹库;
• 当历史数据量较大时,可通过冷数据自动转储功能,将数据存放到OSS中,减少70%以上的成本;
• 百亿量级的轨迹查询(比如查询某段时间、某空间范围内经过的轨迹)只需亚秒级;
与X-Pack Spark平台无缝衔接,可以提供类似轨迹相似度、OD分析等强大功能。
IMG_1066.PNG

遥感大数据管理与智能服务平台

场景:完全在线化大规模遥感影像数据入库、查询、分析和AI智能服务。
痛点:
• 遥感影像数据体量大且增量快,存储、计算扩展不灵活;
• 以原始文件为单位管理模式粗放,数据结构不统一,上层调用复杂;
• 传统静态切片方式管理显示速度快,但光谱信息丢失,无法有效支撑实时分析场景和AI场景;
• 多源空间数据融合查询分析困难。
架构说明:
• 原始数据采用OSS高性价比存储,冷热分离;
• 影像数据库采用SQL+NoSQL构建时空序列影像,容量无上限,存储与计算分离,极致弹性;
• 数据完全结构化存储和组织,保留原始像元信息,有效支撑各类分析计算场景;
• 与X-Pack Spark集成,ETL与多源空间数据分析处理更便捷,可进一步集成阿里天巡平台,实现遥感AI能力集成。

IMG_1067.PNG

产品购买:

https://cn.aliyun.com/product/hbase?spm=5176.12825654.eofdhaal5.58.7b652c4acM9Dyn

产品使用手册:

https://help.aliyun.com/document_detail/87287.html?spm=a2c4g.11174283.6.684.562f3c2eu7WQdR
欢迎加入『Ganos时空云计算』钉钉群、提交工单 或者与『 云hbase答疑 』交流

IMG_1021.JPG

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
2月前
|
人工智能 算法 物联网
阿里云百炼最新能力升级,你都有哪些期待?
阿里云百炼大模型服务产品全新升级,探索算法和技术创新,共享阿里集团内环业务的模型构建经验。
|
21天前
|
消息中间件 运维 Serverless
阿里云函数计算是一种FaaS(Function as a Service)云服务
【4月更文挑战第17天】阿里云函数计算是一种FaaS(Function as a Service)云服务
70 3
|
28天前
|
机器学习/深度学习 人工智能 安全
AI战略丨阿里云百炼再升级:模型、工具、AI能力,快速接入、应有尽有
阿里云百炼持续加码模型服务,基于丰富的底层计算能力与通义系列模型的最佳实践,构建训练评测、标注、部署全生命周期模型工具,帮助企业、开发者在云上一站式调用、优化大模型,成为大模型时代的商业化基础设施。
|
29天前
|
消息中间件 人工智能 监控
|
1月前
|
消息中间件 Cloud Native Serverless
飞天发布时刻丨阿里云 ApsaraMQ 全面升级,携手 Confluent 发布全新产品
阿里云在3月29日的飞天发布时刻宣布ApsaraMQ全面升级,实现全系产品Serverless化,与Confluent合作推出新产品,强化云原生消息队列服务。
|
2月前
|
弹性计算
2024阿里云服务器购买、续费、升级配置价格表新鲜出炉!
2024年阿里云服务器购买、续费、升级优惠政策整理,阿里云服务器优惠价格表:轻量2核2G3M服务器61元一年、2核4G4M带宽165元1年,云服务器4核16G10M带宽26元1个月、149元半年,阿里云ECS云服务器2核2G3M新老用户均可99元一年续费不涨价,企业用户2核4G5M带宽199元一年。
471 2
|
3月前
|
弹性计算 大数据 测试技术
2024年阿里云服务器新购、续费、升级优惠信息整理汇总
随着云计算技术的深入普及,越来越多的企业和个人选择阿里云作为他们的云服务提供商。然而,续费成本往往成为用户考虑的重要因素。为了帮助用户更经济地续费,阿里云推出了一系列优惠活动和代金券。2024年阿里云服务器优惠活动,轻量2核2G3M服务器61元一年、2核4G4M带宽165元1年,云服务器4核16G10M带宽26元1个月、149元半年,阿里云ECS云服务器2核2G3M新老用户均可99元一年续费不涨价,企业用户2核4G5M带宽199元一年
212 2