视频介绍
直播讲师：
丁来强（成喆）- 阿里高级技术专家
从事阿里云日志服务相关的产品与研发工作，擅长AIOps/SecOps的大数据分析平台构建与场景落地，使用C++与Python语言等。乐于分享, PyCon历届讲师/云栖直播讲师，曾经在中国PyCon2015、2016与2018以及云栖分享过10+不同议题，覆盖Jupyter扩展、大数据分析可视化、工作流调度、函数式、设计模式、Python核心语言等方面，广受好评。
唐恺(风毅) - 阿里技术专家
从事阿里云日志服务相关的产品与研发工作，日志采集、ETL、数据集成、相关领域专家, 在构建高可靠、高性能服务方面有相当的经验。
分享介绍
日志服务数据加工功能提供托管的自动伸缩的实时可靠数据加工服务，本次系列培训从实战案例角度完整介绍数据加工的主要场景. 包括功能语法、数据分发、结构与非结构化数据清洗、外部资源关联、并发可靠性与排错等，解决实日志数据在接入、分析、投递、对接时存在各种数据加工需求与问题。
列表:
| # | 主题 | 内容介绍 | 讲解人 | 排期 |
|---|---|---|---|---|
| 1 | 数据加工介绍与实战 | 介绍数据加工的各种痛点, 场景以及解决方案. 介绍与演示日志服务数据加工的功能, 概念, 原理, 控制台操作, 以及SLB数据加工实战等 | 成喆 | 8月7日 19:30-20:30 |
| 2 | 数据加工DSL核心语法介绍 | 介绍与演示日志服务数据加工的核心与发的框架, 深入浅出的覆盖基础语法, 数据结构, 30+全局函数概述, 200+表达式函数概述, 以及类SLS/Lucene的查询字符串语法 | 成喆 | 8月8日 19:30-20:30 |
| 3 | 数据加工DSL语法实践 | 逐步深入介绍日志服务的事件字段提取模式, 正则表达式实践, 400+GROK模式概览, 灵活强大的JMES语法, 以及ETL核心场景最佳实践: 函数调用、事件判断、日期时间处理等 | 成喆 | 8月13日 19:30-20:30 |
| 4 | 数据加工动态数据分发汇集实践 | 介绍与演示数据加工对于跨账号多目标logstore数据分发, 以及跨账号多源logstore数据汇总的场景 | 唐恺 | 8月14日 19:30-20:30 |
| 5 | 非结构化数据解析实践 | 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析, 包括: 解析标准syslog协议框架、使用正则表达式与grok解析Ngnix日志、动态键值对KV加工, 特定格式的、特定格式文本的数据加工等 | 唐恺 | 8月20日 19:30-20:30 |
| 6 | 结构化化数据解析实践 | 通过多个实战案例介绍日志服务数据加工如何全面灵活的支持非结构化数据的解析, 包括：复杂JSON格式加工、多子键为数组的复杂JSON、多层数组对象嵌套的复杂JSON, 解析CSV格式日志等 | 唐恺 | 8月21日 19:30-20:30 |
| 7 | 数据映射富化实践 | 通过多个实战案例介绍日志服务数据加工对于数据富化的支持，介绍如何从RDS-MySQL、Logstore、OSS等外部资源自动化加载数据支持各种维表更新与数据富化场景。也覆盖特定复杂逻辑映射的实战内容。 | 唐恺 | 8月28日 19:30-20:30 |
| 8 | 数据加工可靠性性与排错实践 | 深入浅出介绍介绍如何构建健壮性数据加工任务, 从异常错误监控, 到异常错误排查框架流程, 通过实战覆盖数据加工各个阶段的错误排查手段, 包括: 初始化错误排查, 读取错误, 加工错误, 输出错误等 | 成喆 | 8月29日 19:30-20:30 |
扫码观察直播:
日志服务开发者技术交流群
阿里云开发者群:
相关视频