我国实物地质资料信息服务进入大数据时代

简介:

记者从中国地质调查局实物地质资料中心获悉,该中心与西安地质调查中心大数据团队通过联合攻关,日前成功搭建起了全国实物地质资料大数据框架,形成了具有多节点水平扩展能力的分布式互联数据中心资源池,并实现了海量实物地质资料图文一体化聚合存储、异构数据高速解析、行业级跨平台无缝对接、用户桌面和移动端无障碍浏览等多项关键技术与实用服务功能。

据介绍,随着全国重要钻孔数据库项目工作在“十三五”时期全面铺开,国家级馆藏机构和省级馆藏岩心、薄片、标本等资源数字化工作成果日积月累,产生的非结构化图件类数据经切片处理后已达到数百万级。

根据全国实物地质资料管理与服务的需求,解决信息化服务面临的“如何管起来、如何用起来、如何数据共享”三个挑战,按照国土资源部实物地质资料分散保管、集中服务的管理原则,中国地调局实物地质资料中心和西安地调中心科研人员集中攻关,经过反复多次试验和对比多种大数据服务框架,终于在实物地质资料大数据框架应用方面取得了突破。

据介绍,全国实物地质资料大数据平台服务框架实现了图件类非结构化数据以编码流的形式推送到数据库统一管理,对外服务由Windows门户提供交互接口服务,并支持门户页面定制和数据共享,对内数据管理由基于Linux系统集群环境支撑,所有结构化和非结构化数据推送到Nodes节点上,数据的查询调度由充当全局交易检测(GTM)和协调员(Coordinator)角色的服务器实现,框架具备灵活的增删节点横向扩展能力。

目前,全国实物地质资料大数据平台框架内已推送了1:3500万比例尺世界地质图数据库、1:250万比例尺中国地质图数据库和全国重要钻孔数据库目录及柱状图影像数据,信息检索效率已达毫秒级,为地质大数据工程发挥了落地应用和示范作用。
本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
11月前
|
传感器 供应链 自动驾驶
【年终特辑】看见科技创新力量 洞见时代创业精神—交通物流—聚速电子:16年民用微波雷达技术,探路智慧交通场景
【年终特辑】看见科技创新力量 洞见时代创业精神—交通物流—聚速电子:16年民用微波雷达技术,探路智慧交通场景
125 0
|
11月前
|
算法 大数据
【年终特辑】看见科技创新力量 洞见时代创业精神—医疗健康—天微基因:POCT智能检测终端,一键式填补基层医疗的“信息鸿沟”
【年终特辑】看见科技创新力量 洞见时代创业精神—医疗健康—天微基因:POCT智能检测终端,一键式填补基层医疗的“信息鸿沟”
149 0
|
存储 机器学习/深度学习 人工智能
韦韬:“可算不可识”是实现个人隐私保护和数据产业发展的平衡点
《个人信息保护法》颁布后,企业如何通过技术手段按照法律要求保护个人隐私? 2021年(第七届)中国互联网法治大会顺利闭幕。大会围绕“守正创新依法强网”主题,展示互联网法治前沿技术,总结互联网法治创新成果,共话互联网法治趋势热点,同绘互联网法治发展蓝图。
320 0
韦韬:“可算不可识”是实现个人隐私保护和数据产业发展的平衡点
|
存储 安全 物联网
医疗记录的价值:解密地下黑市电子医疗数据的价值
本文讲的是医疗记录的价值:解密地下黑市电子医疗数据的价值,无论是在中国还是美国,互联网医疗都已经得到了较为充足的发展,为患者的诊断和治疗过程提供了很多便利,但同时,部分人可能还没有意识到头上悬着的达摩克利斯之剑——医疗信息安全问题。
2400 0