nonoyet

的美丽世界

etl工具kettle

etl工具kettle

By nonoyet

kettle作为强大的etl工具,用到了很多实际项目中,本文介绍kettle的安装和基本功能的使用

安装

下载地址:https://pan.baidu.com/s/1834328oJkj9OWEUH-bXa1A?at=1638613153754 提取码:wh12

当前版本为免安装版本,下载下来后解压并经过简单的配置即可使用,前期准备需要一个数据库mysql,其他数据库也可.数据库的安装过程略去,需要注意的是mysql的版本太高,对应的驱动支持存在问题,这里推荐mysql

下载地址:https://pan.baidu.com/s/1ytDNeqejOhm4FfcuNGu_Ag 提取码:wh12

对应mysql的java驱动

下载地址:https://pan.baidu.com/s/123uFdnMwj-O37MjULBbwFg 提取码wh12

另外kettle基于java环境,需要提前安装jdk及配置环境变量

将kettle解压到一个目录下,比如d:\kettle

配置kettle环境变量

我的电脑右键,选择属性

image etl工具kettle

选择高级系统设置

image-1 etl工具kettle

选择环境变量

image-2 etl工具kettle

新建一个如上红框标示的变量,值填写kettle解压的目录下的data-integration

加载驱动

将之前下载的mysql驱动放入kettle路径下的lib和libswt\win64目录下,当然如果你的电脑是32位,则放在win32目录下

启动

找到解压目录下的spoon.bat

image-3 etl工具kettle

将该文件右键,发送到桌面快捷方式,该文件为ketle可视化工具的启动入口.

image-5 etl工具kettle

点击启动,第一次启动时间可能比较长

image-6 etl工具kettle

出现如上界面代表启动成功.恭喜你安装成功

演示库与数据准备

先建立一个测试用的数据库,作为演示测试所用

image-9 etl工具kettle
image-8 etl工具kettle
image-10 etl工具kettle

初始化kettle

初始化前先建立一个kettle的空数据库

image-30 etl工具kettle

然后进入kettle,点击桌面右上角connect图标

image-11 etl工具kettle
image-14 etl工具kettle
image-15 etl工具kettle
image-16 etl工具kettle
image-17 etl工具kettle

填写我们建立的kettle空数据库

image-18 etl工具kettle

点击测试,出现如下界面表示连接成功,如果出现失败,最可能的原因是驱动不合适,需要找到自己版本对应的驱动

image-19 etl工具kettle

另外需要注意的是还要进行如下配置,否则会出现中文乱码,set names utf8

image-20 etl工具kettle

设置characterEncoding的值为utf8

image-22 etl工具kettle
image-23 etl工具kettle
image-24 etl工具kettle

等待初始化完成......

登陆kettle

image-25 etl工具kettle

初始化kettle的用户名密码均为admin

image-26 etl工具kettle

至此,初始化完成

最基础的功能:增删改查

image-28 etl工具kettle
image-29 etl工具kettle

功能演示

最常用的功能莫过于操作数据库,而操作数据库最常用的就是增删改查,当然kettle的功能不止于此,但是我们用到的功能只有冰山一角.

查询

  • 查一个完整的用户
image-32 etl工具kettle

将表输入拖动到右边,并双击

image-33 etl工具kettle

选择新建

image-34 etl工具kettle

按照之前添加数据库的方式添加我们的测试数据库test

image-35 etl工具kettle

然后输入我们的查询sql

image-36 etl工具kettle

点击确定

点击执行

image-37 etl工具kettle
image-38 etl工具kettle

点击save

显示如下表示成功

image-39 etl工具kettle

查看获取的数据

image-40 etl工具kettle
  • 查出年龄大于20的用户

添加过滤记录并连接

image-41 etl工具kettle

点开过滤记录并配置age>20

image-42 etl工具kettle

并执行查看结果

image-43 etl工具kettle
  • 查出用户,并且将性别0,1有数字转换为男女

添加字段选择,并在元数据中心修改字段类型

image-45 etl工具kettle
image-46 etl工具kettle

添加值映射

image-47 etl工具kettle

执行

image-48 etl工具kettle
  • 查出结果范围0-10,11-20,21-30,31-50,51-100的分别标示位儿童,少年,青年,中年,老年

添加数值范围,并配置

image-49 etl工具kettle

查看执行结果

image-50 etl工具kettle

2.删

image-51 etl工具kettle

3.改

image-52 etl工具kettle

4.增

image-53 etl工具kettle