基于云上分布式NoSQL的海量气象数据存储和查询方案

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

基于云上分布式NoSQL的海量气象数据存储和查询方案

亦征 2017-11-21 10:34:42 浏览7774
展开阅读全文

前言

气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题。

传统的方案常常采用关系型数据库加文件系统的方式实现这类气象数据的存储和实时查询,这种方案在可扩展性、可维护性和性能上都有一些缺陷,随着数据规模的增大缺点越来越明显。最近几年,学界和业界开始不约而同的转向利用分布式NoSQL存储来解决海量气象数据的存储和实时查询问题,相比之前的方案,可以支撑更大规模的数据量并提供更好的查询性能,并且在稳定性、可管理性等方面,也得到了显著的提升。

另一方面,利用云计算的资源来解决气象大数据的解析、存储、查询与分析也成为一种趋势

网友评论

登录后评论
0/500
评论
亦征
+ 关注
所属云栖号: 阿里云存储服务