数据对接—kettle使用之十三

简介:

这一篇我们继续介绍转换插件的使用,Row Normaliser、行转列和字段选择。

Row Normaliser控件

这个步骤转动表,标准化数据格式。

行转列

这个插件也是转动表,标准化数据格式,但是相关设置比上面的插件要多一些,例如你想更新一个实际的物理表,这种形式的数据是更容易掌握的。


1、 关键字段:不转的字段
2、 构成分组的字段:标准化的字段名称(例如Product A,Product C)
3、 目标字段:你可以制定一个或者多个新值将要转入的字段(例如sales)

字段选择

这个插件常常用来:
1、选择字段
2、重命名字段
3、指定字段长度或者精度

上面三个不同标签的功能:
1、选择和修改:指定输出流中字段的精确顺序和名称。
2、删除:指定必须从输出流中删除的字段。
3、元数据:修改数据字段的名称、类型、长度和精度。
选项:
1、字段名称:选择或者修改的字段名称。
2、改名:如果不想改名就留空白。
3、长度、精度:输入数字指定长度、精度(-1:代表没有长度、精度指定)

总结:

       这几个插件在格式化表数据中作用很大,尤其是下面的字段选择控件,使用的地方很多。

目录
相关文章
|
存储 SQL 消息中间件
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
|
9月前
|
大数据 分布式数据库 Hbase
|
数据采集 缓存 分布式计算
大数据 ETL 处理工具 Kettle 的核心概念
上一篇中对 Kettle 进行了简单的介绍,并快速体验了一把 Kettle,完成了「把数据从 CSV 文件复制到 Excel 文件」 HelloWrold 级别的功能。 而在实际工作中,可以使用 Kettle 的图形化的方式定义复杂的 ETL 程序和工作流,如下图就是通过一系列的转换(Transformation) 完成一个作业(Job)流程。
|
SQL JavaScript 前端开发
大数据 ETL 处理工具 Kettle 完成一个作业任务
简单一句话,作业流程,即是对转换流程进行调度,也可以嵌套转换流程和作业流程。
|
数据采集 Java Unix
大数据 ETL 处理工具 Kettle 入门实践
Kettle 是一款国外开源的 ETL 工具,对商业用户也没有限制,纯 Java 编写,可以在 Window、Linux、Unix 上运行,绿色无需安装,数据抽取高效稳定。Kettle 中文名称叫水壶,它允许管理来自不同数据库的数据,把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle 中有两种脚本文件,Transformation 和 Job, Transformation 完成针对数据的基础转换,Job 则完成整个工作流的控制。通过图形界面设计实现做什么业务,并在 Job 下的 start 模块,有一个定时功能,可以每日,每周等方式进行定时。
|
Java 关系型数据库 数据库