学习笔记1 - 使用MaxCompute进行数据质量核查

  1. 云栖社区>
  2. 博客>
  3. 正文

学习笔记1 - 使用MaxCompute进行数据质量核查

angelyj 2018-12-19 21:27:59 浏览1243
展开阅读全文

大数据Clouder:使用MaxCompute进行数据质量核查

数据,数据质量,数据质量管理
MaxCompute,DataIDE
监控,监控报告

对数据的改善和管理,直接提升数据质量;
对组织的改善和管理,间接提升数据质量。

数据质量影响因素:①需求过程引发,②数据源引发,③统计口径引发,④系统自身引发。
数据质量问题类型:①错误值,②重复值,③数据不一致,④数据完整性,⑤缺失值,⑥异常值。

MaxCompute,大数据开发工具:
①DataIDE:可视化形式。
②Studio客户端,③odpscmd客户端:都是命令行形式。

数据产生:阿里云的RDS。
数据收集与存储:DataIDE数据同步组件,从RDS中同步到MaxCompute中。
数据分析与处理:DataIDE中的任务ODPS_SQL和OPEN_MR。
数据提取:DataIDE。
数据展现与分享:Quick BI。

注意:将本地数据上传导入到MaxCompute,如果数据文件大于10M,DataIDE就上传不了了,这时就需要使用odpscmd客户端提供的Tunnel命令方式进行上传。
Tunnel命令操作 :https://help.aliyun.com/document_detail/27833.html?spm=5176.11065259.1996646101.searchclickresult.6de53dbcRY6DwC

DataIDE:数据开发(任务开发,脚本开发),运维中心(任务列表,任务运维,报警)。
任务开发:需要周期调度的,加工逻辑复杂的,需要多个步骤进行数据处理的。注意:任务开发中的调度任务生成实例的时间。
脚本开发:一次性的,临时数据操作,比如:建个表,插入个数据等 。

任务解决方案:开通MC服务并搭建开发环境,实验数据准备,配置数据质量核查规则,数据质量监控规则导入MC,通过MC实现数据质量监控,配置MC程序调度,配置程序调度邮件、短信告警。

查看监控报告。

1

2

对应的沙箱实验笔记

网址:https://edu.aliyun.com/lab/courses/1fb17df91d3648c781c30cd877bcaeb8/detail?purchaseRecordId=f0f34cd5a0fc48829231e8006960644b
实验环境:DataWorks->项目->进入工作区->IDE页面。
实验步骤:
1、数据准备上传到MC中:建表“ODS_EBUSI_xxx”->导入本地数据,上传数据到MaxCompute中。
注意:首行为标题,默认为是。
查询语句:
select * from ODS_EBUSI_xxx;
select count(*) from ODS_EBUSI_xxx;
2、编写数据监控规则:写入到excel或txt中。注意:要保证txt文件为utf8格式。
(1)规则模板对应的各类内容:
①核查规则类型名称:监控类别编码对应的监控规则名称(1:错误值;2:重复值;3:数据不一致;4:数据完整性;5:缺失值;6:异常值)。
②状态:1:本条监控规则有效;0:本条监控规则已失效,或不再进行监控。
(2)监控场景:
①订单表内订单时间格式出错。
②订单表同一客户同一时间下了多次订单。
③客户信息表省份信息异常。
④配送的订单在订单表中不存在。
⑤客户信息表性别信息缺失。
⑥同客户单月购买次数异常(当月购买次数大于10次)。
注意:在MaxCompute控制台中导入一个txt文件,要保证txt文件为utf8格式,如果不是,可以用记事本打开文件,单击另存为,将其保存为utf8格式。
https://help.aliyun.com/knowledge_detail/40360.html?spm=5176.11065259.1996646101.searchclickresult.242b49d5HssL3O
3、将监控规则导入到MC中:建表“ODS_DATA_CHECK_RULE”->导入监控规则excel或txt文件。注意:分隔符配置。查询语句:
select * from ODS_DATA_CHECK_RULE;
select count(*) from ODS_DATA_CHECK_RULE;
4、数据质量监控:
①建表“DWD_DATA_CHECK_REPORT”->用于保存最终的监控报告。
②新建任务->任务类型:工作流任务,名称:DATA_CHECK_数据质量监控,调度类型:周期调度。
③选择节点组件->在编辑页面写入sql,并配置好参数,保存后返回。
虚节点:从左侧节点组件中,拖取一个虚节点至右侧空白处,命名:程序开始,执行结束。
ODPS_SQL:将左侧ODPS_SQL控件,拖至右侧空白处,命名。双击该节点组件,进入编辑界面,写入建表sql语句,配置参数,保存后返回。注意:此时不需要点击运行。
④按照顺序,将各个执行空间连接起来。所有连接完成后,点击保存,点击提交,确定提交。
⑤测试运行->点击测试运行,填写实例名称和业务日期,点击运行,点击前往运维中心,进行监控。
⑥查看最终的监控报告内容,查看语句:注意:分区表查询。
set odps.sql.allow.fullscan=true;
select * from dwd_data_check_report;
set odps.sql.allow.fullscan=true;
select CHECK_RULE_ID,CHECK_RULE_NAME,CHECK_RULE_OWNER,WARNING_CONTENT from DWD_DATA_CHECK_REPORT;
5、配置MC调度:点击调度配置->基本属性,调度属性,依赖属性,跨周期依赖->配置完成。运维中心查看->周期任务,周期实例。
注意:配置完成后,第二天调度才会生效。在23:30之后提交成功的任务,从第三天开始才会生成实例。
6、配置邮件和短信告警:运维中心->报警设置->新建报警->选择任务、报警原因、报警方式、接收人。

3

网友评论

登录后评论
0/500
评论