1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. E>
  5. etl 监控

当前主题:etl 监控

大数据与机器学习:实践方法与行业案例.2.5 监控和预警

2.5 监控和预警 监控和预警存在于数据闭环的各个阶段,在所有的自动执行环节均可以植入监控和预警点。前期对ETL所做的规范,现在是体现其应用价值的时候了。可以利用这些满足规范的日志记录进行自动监控和预警。 如果有专职的运维人员负责作业的运行监控,使用专门的监控

阅读全文

ETL测试工具简介

ETL测试 ETL测试过程与其他测试过程类似,包括一些阶段。 确定业务需求 测试计划 设计测试用例和测试数据 - 测试执行和错误报告参考 总结报告 测试结束 ETL测试的类型 生产验证测试: 也称为表平衡或产品对帐。 它在以正确顺序移入生产系统之前或同时对数

阅读全文

大数据与机器学习:实践方法与行业案例.2.3 ETL

2.3 ETL ETL是Extract-Transform-Load的缩写,是数据的抽取、转换、加载过程,当需要将数据从一个环境转移到另一个环境时(例如从生产环境到分析环境),或者需要对数据进行进一步加工处理时(例如在分析环境中,在数据仓库基础上产出每日交易量

阅读全文

使用LogHub进行数据清洗/ETL

数据清洗/ETL 日志处理过程中一个假设是:数据并不是完美的。在原始数据与最终结果之间有Gap,需要通过ETL(Extract Transformation Load)等手段进行清洗、转换与整理。 案例 “我要点外卖“是一个平台型电商网站,用户、餐厅、配送员

阅读全文

覆盖电商、推荐、ETL、风控等多场景,网易的实时计算平台做了啥?

作者:吴良波 摘要:本文由网易 Java 技术专家吴良波分享,主要内容为 Apache Flink 在网易的实践,文章提纲如下: 业务与规模演进 Flink 平台化 案例分析 未来发展与思考 重要:公众号后台回复关键字「0224网易」,即可获取作者现场分享的

阅读全文

使用函数工作流+函数计算轻松构建 ETL 离线数据处理系统

前言 随着云计算、人工智能、物联网等新技术的应用普及,人类产生的数据呈现出了爆发式增长的态势,对数据处理的需求能力也提出了越来越高的要求。数据成了重要资产,收集、处理数据的能力成为了核心竞争力,比如:应用服务的运行监控,运营数据的分析,以及深度学习的数据过滤

阅读全文

日志服务CLI ETL - 部署与管理

背景 本文介绍日志服务CLI ETL功能的安装部署、性能扩展安全性、以及如何监控管理ETL的运行。 安装与配置 安装 推荐使用Pypy3来运行,具体参考CLI安装 注意:需要确保Python SDK保持最新:pypy3 -m pip install aliy

阅读全文

大数据与机器学习:实践方法与行业案例.2.6 本章小结

2.6 本章小结 本章围绕数据体系提出了数据闭环的概念,对数据闭环的特征进行了描述,并且进一步介绍了构建数据闭环所涉及的方法和技术。 这里着重介绍了在数据闭环中扮演重要作用的“数据缓冲区”的设立理念和实现方式。通过设立数据缓冲区,可以实现系统解耦,让数据闭环具

阅读全文