kettle使用笔记1--基本安装和使用


参考来源

https://blog.csdn.net/qq_36698956/article/details/80751655,在这个文章基础上实际使用增加的。

一,安装,采用的是下载官方网站的windows安装

下载地址:https://community.hitachivantara.com/docs/DOC-1009855

我下载的版本是最新版本 8.2版本,直接下载解压data-integration就可以了。

如果需要远程web控制,或者kettle的集群模式,需要使用首先启动carte

启动命令如下  carte  127.0.0.1  8088          这里地址和端口可以根据你自己使用的主机替换。(http://127.0.0.01:8088 默认登录用户密码cluster/cluster)

如果只是想使用kettle单机版本,carte服务可以不用启用,直接使用spoon就可以。

如何使用这个web版本,后续再介绍。

二。基本使用:

 

Kettle 的远程运行或集群运行。 Encr.bat: 密码加密

  转换和作业:

Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。

  ?转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。

  ?作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。

快速启动,即可查看结果:

  7.添加转换过程

    这里添加一个最常用的字段选择,通过节点连接后,点击获取字段可以选择所有,然后在字段列表进行选择:

    通过删除选中行(DEL键),过滤指定的字段,预览即可查看转换的结果:

  8.改变并发数

    例如上面的生成随机数,如果想生成多个而不只是一行,可以在生成随机数节点上右键->改变开始复制的数量,节点上即会对应进行显示:

  9.流程操作

    除了转换,还有一些比较常用的流程操作:

  这里以常用的记录过滤与空操作举例(空操作视为垃圾箱,用于丢弃不要的过滤结果等)

  这里对结果进行不同方向的处理:过滤为True的放入文本文件,为False的丢弃:

  配置过滤的节点:主要配置字段的过滤条件(文本文件节点和前文一样配置)

  保存并启动转换,转换结果不再赘述。

  10.计算器案例操作

    例如进行一些字段与字段之间的计算或者字段的计算等操作

    可以通过搜索找到计算器节点(或者在转换下找),配置如下:

  11.连接案例

    在输入中选择两个自定义常量数据,这个一般用于自己编造测试数据,在连接中选择记录集连接:

    配置自定义常量数据:分别在元数据中配置字段定义信息,在数据中写入测试数据:

    配置记录集:

    预览可查看结果: