环保大数据:美国是如何迈出第一步的?

简介:

针对我国提出的大数据战略,各行各业都跃跃欲试,就环境信息化来说,环保大数据的第一步需要怎么走?

这是我国环保产业目前面临最迫切的问题。那么,美国通过哪些信息化手段将数据整合起来呢?

面临同样的问题,美国环保局(EPA)已经开始探索大数据的第一步——数据整合。对于EPA来说,内部业务应用阶段(即办公自动化和管理信息系 统)早已经实现,EPA的信息化已经走向更加复杂的与各联邦政府间数据共享、业务协同的高级应用阶段,将各个业务系统的数据整合集成到一起,成为EPA和 联邦政府履职的必要组成部分。

建立设施登记系统Vol.01

实现EPA内部和联邦政府的数据集成,是数据整合的基石为解决不同系统、数据库之间的标准化和数据语意冲突的问题,方便数据的整合、共享,EPA建立了环境资料注册(Environment Data Registry, EDR)机制,提供信息系统和数据的标准信息(包括名称、格式、来源、位置等)。EDR分为系统程序及数据库注册、数据集合注册、数据(元素)注册、环境 词汇注册、开发组件注册、化学物质注册及设施登记(注册)等。

其中,设施登记系统(Facility Registry System,FRS)是对包括企业、污水处理厂、民用设施、甚至采矿作业等享有排污权的设施进行登记,为每个排污设施创建唯一、综合的设施识别信息,形成排污设施登记数据库。

通过为每个排污设施赋予唯一的“设施标识码”,使不同业务系统数据之间的关系得以明确,实现跨业务系统和跨库检索。通过设施标识码建立排污设施与EPA和各州业务信息系统的链接,实现了EPA内部和联邦政府范围内的数据集成和共享。

FRS由OEI(环境信息化办公室)集中管理和维护,通过把各业务系统的设施数据链接起来, EPA可以做很多事情,比如搜索某一行业的所有被监管设施;设施的准确位置,包括排污口经纬度等;某设施所涉及的各种排污许可和环境监管信息;某企业的所有排污设施例如某石油公司的所有分厂等。

自上世纪90年代FRS开始实施以来,已经登记了160万个设施记录,整合了28个州的污染设施主数据;管理超过7800个联邦管理的设施,5万个部落领地设施和超过3000个国家环境行为跟踪(NEPT)设施数据,成为EPA数据整合的基石。

EPA还通过污染设施的信息公开,收集公众对设施数据质量的问题反馈,识别和纠正错误数据和重复记录。3年内收到1.3万个数据错误的反馈,更正了1.2万个错误,大幅提高了设施信息质量的准确性和有效性。

建立环境数据传输与交换系统Vol.02

使得EPA各部门、各州环保部门、环保团体、企业等快速地交换环境数据在信息化建设之初,为满足各项业务需求,EPA也分别建设了信息系统和数据库,这些系统大多互不兼容,难于共享。

对于不同业务系统的数据传输和交换需求,EPA没有分别建立传输网络和系统,而是依靠统一的中央数据交换系统(Central Data eXchange,CDX)实现。这一平台提供单一数据申报及交换窗口,使EPA各部门、州政府环保部门、部落或环保团体、企业能够快速传输、交换环境数 据。CDX目前已经延伸到加拿大及墨西哥,实现了跨境数据交换,是EPA数据采集、传输和交换重要的基础设施。

目前已超过26万个用户在CDX上注册,50个州和9个部落运用CDX所提供的空气、水等相关环境数据,60个系统的数据在CDX上交换,每年的交易数量超过80万笔,节省了大量的时间和经费。

建设环境数据仓库Vol.01

形成综合性的环境信息,并有利于实现数据的实时智能分析为整合、集成业务系统和数据以获取综合性的环境信息,EPA的OEI还通过从不同业务系统中抽取数据,整合形成环境数据仓库(EnviroFacts)。

目前,包括大气环境质量、有害固体废弃物、超级基金场地、有毒物质排放清单、饮用水等大部分业务数据已经整合到EnviroFacts中,分为大气、水、土壤、固废、有毒物质、设施、辐射、守法等专题。公众只要登陆EPA网站,就可以方便地查询到所需要的各类环境信息。

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
大数据
中国环保产业链大数据解读
摘要: 环保小微企业“一统江湖”环保再成今年“两会”最热关键词,攻坚“天蓝、水清、土净”势在必行。目前我国整个环保产业发展还相对稚嫩,未来几年环保投资需求巨大,随着市场逐步放开,尤其是政企合作模式(PPP)得到 ... 环保小微企业“一统江湖” 环保再成今年“两会”最热关键词,攻坚“天蓝、水清、土净”势在必行。
1137 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
46 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1