本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。
【Hadoop Summit Tokyo 2016】使用Hadoop来构建实时和批数据的数据质量服务
2017-02-27
2630
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。
目录
相关文章
|
3月前
|
存储
分布式计算
Hadoop
Hadoop：驭服数据洪流的利器
在当今信息大爆炸的时代，海量数据成为企业决策的重要依据。本文将介绍大规模数据处理框架Hadoop的概念与实践，探讨其在解决大数据应用中的重要性和优势。从分布式计算、高可靠性、扩展性等方面深入剖析Hadoop的工作原理，并结合实例说明如何利用Hadoop来处理海量数据，为读者提供了解和运用Hadoop的基础知识。
26
2
2
|
5月前
|
存储
分布式计算
Hadoop
|
9天前
|
SQL
分布式计算
Hadoop
利用Hive与Hadoop构建大数据仓库：从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理，而Hive作为基于Hadoop的数据仓库系统，通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建，为企业决策和创新提供支持。
40
1
1
|
2月前
|
数据采集
存储
分布式计算
|
3月前
|
分布式计算
关系型数据库
Hadoop
|
8月前
|
数据采集
分布式计算
搜索推荐
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
96
0
0
|
4月前
|
存储
Linux
|
4月前
|
分布式计算
资源调度
Hadoop
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
46
0
0
|
4月前
|
分布式计算
Hadoop
大数据
|
8月前
|
数据采集
缓存
分布式计算
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
65
0
0
热门文章
最新文章
1
利用Hive与Hadoop构建大数据仓库：从零到一
2
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
3
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
4
大数据处理架构Hadoop
5
Hadoop集群基本测试
6
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
7
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
8
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
9
【Hadoop】HDFS 读写流程
10
大数据Hadoop生态圈体系视频课程