做网站需要每年都交钱吗,厦门建网站平台,做网站对企业有什么好处,网站建设人员性格本章知识简介
主线A: 自连接查询;
主线B: 安装JDK与Kettle;
主线C: 使用Kettle工具.
本章目标#xff1a;
1: 知道使用一张表可以实现自连接查询; [了解]注意: 左表、右表都是同一张表
2: 了解Kettle环境的安装流程; [了解]a.安装JDKb.安装Kettle
3: 熟悉使用kettle将txt数…本章知识简介
主线A: 自连接查询;
主线B: 安装JDK与Kettle;
主线C: 使用Kettle工具.
本章目标
1: 知道使用一张表可以实现自连接查询; [了解]注意: 左表、右表都是同一张表
2: 了解Kettle环境的安装流程; [了解]a.安装JDKb.安装Kettle
3: 熟悉使用kettle将txt数据转换为Excel数据的操作步骤; [重点]a.新建转换b.构建流图c.配置组件d.保存并启动执行
4: 熟悉使用kettle将Excel数据转换为MySQL数据的操作步骤; [重点]a.新建转换 # 配置MySQL与Kettle连接, JNDIb.构建流图c.配置组件d.保存并启动执行
5: 熟悉使用Kettle进行MySQL表间转换的操作步骤。 [了解]a.新建转换b.构建流图c.配置组件d.保存并启动执行
Kettle介绍
[了解]什么是Kettle 目标了解什么是ETL以及Kettel是开源的ETL工具 在大数据开发过程中有一个【ETL开发工程师】的工作岗位工作职责是转换、处理各种不同类型的数据格式。
ETLExtract-Transform-Load的缩写指的是数据抽取、转换、加载的过程。
当要了解并掌握使用一款ETL工具时必不可少的Kettle就是一个强大的ETL工具。 Kettle是一款开源的ETL工具由Java语言开发可用于数据库间的数据迁移。
并可以在Windows、Linux、Unix等系统中运行运行时有图形界面也有命令脚本还支持二次开发。 Kettle中文名称叫水壶该项目的主程序员MATT希望把各种数据放到一个壶里然后以一种指定的格式流出。
通俗地说Kettle就是用于处理各种不同格式的数据并按特定格式输出。
kettle官网是 Home - Hitachi Vantara
github地址是 https://github.com/pentaho/pentaho-kettle
当要搭建Kettle开发环境时要求如下
1jdk1.8.0版本
2MySQL 8.0
3pdi-ce-9.0版本 说明稍后来搭建Kettle环境。 总结 1ETL指的是数据抽取、转换、加载的过程而Kettle是ETL开发中常见的一个工具 2注意Kettle底层是使用语言开发的。A、PythonB、Java。 [掌握]安装JDK 目标掌握JDK的安装流程。 由于Kettle是基于java开发的因此需要安装java环境并配置JAVA_HOME环境变量。注意
1建议安装JDK1.8及以上因为Kettle 7.0后的版本不支持低版本的JDK
2本课程以jdk-8u241-windows-x64版本为例进行安装说明。 说明Java官网Java Downloads | Oracle 安装JDK时有两个重要步骤
a安装JDK
b配置JDK的环境变量 说明当安装完JDK且要让JDK生效需要对JDK进行配置JAVA_HOME和Path环境变量。 a安装JDK的步骤如下
1找到资料/安装包中的jdk软件文件双击打开 2点击「下一步」按钮 3将路径修改为C:\opt\jdk1.8.0_241点击「确定」按钮 4点击「下一步」等待进度条完成 5在新弹出的窗口中点击「更改」按钮将JRE的安装路径修改为 c:/opt/jre1.8.0_241 6点击「关闭」完成安装 b配置JDK环境变量的步骤如下
1我们需要给计算机配置环境变量JAVA_HOME。
作用JAVA_HOME指向的jdk的安装目录Kettle等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。
配置方法在系统变量里点击新建变量名填写JAVA_HOME变量值填写JDK的安装路径。
2找到jdk的安装目录复制其路径再找到【此电脑】右键点击选择属性弹出如下界面选择高级系统设置不同版本系统位置可能不太一样耐心寻找一下。 3进入高级系统设置之后点击【环境变量】按钮即可进入环境变量配置界面。 4找到【系统变量】选择【新建】将JAVA_HOME填写到变量名中将刚刚复制的jdk安装路径粘贴到变量值内点击确定完成环境变量添加。 5在系统变量里找到Path变量这是系统自带的不用新建。双击Path由于原来的变量值已经存在故应在已有的变量后加上
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin # 可不添加 (6) 检测环境变量是否配置成功在底部搜索栏输入cmd按Enter键唤出终端窗口。 输入【java】、【javac】、【java -version】输出如下内容则表示配置成功。 例如一起来完成
1在电脑中安装JDK工具
2配置JAVA_HOME、Path环境变量
3使用命令验证是否成功安装JDK。 总结 1若要启动Kettle环境则必须要安装JDK工具 2请问安装JDK时除了要配置Path变量外还必须配置变量。A、ClassPathB、JAVA_HOME [掌握]Kettle安装与启动 目标掌握如何安装与启动Kettle。 当成功安装了JDK后就可以安装Kettle软件了。
Kettle官网Home - Hitachi Vantara
此外也可以到网站【https://sourceforge.net/projects/pentaho/files/】中下载Kettle。 说明为统一管理与使用Kettle使用老师下发的软件文件。 安装Kettle的步骤如下
1先将kettle下载到本地 2解压Kettle到一个非中文目录下 3进入解压后的文件夹data-integration中双击Spoon.bat用于启动kettle。 4当使用Mac OS系统安装与启动Kettle时解压操作类似启动时需要使用命令
sh ./spoon.sh 说明详细操作文档请查看【Mac OS系统安装Kettle详解】。 另外的需要注意的是
1由于kettle需要连接数据库因此需要下载对应的数据库驱动例如MySQL数据库需要下载mysql-connector-java.jar在Windows中安装MySQL时已经自动安装
2本课程基于pdi-ce-9.0.0.0-423版本进行介绍低版本在使用上可能略微有区别。
例如一起来完成
1在电脑中解压Kettle压缩文件到一个非中文目录下
2启动Kettle并进入欢迎界面观察效果。 总结 1请问安装Kettle前必须要先安装jdk以及配置环境变量这句话对吗A、对B、错 2Kettle是使用java语言开发的一款开源的ETL工具常用于大数据开发中的数据迁移与转换。 [了解]转换数据 目标了解使用Kettle转换数据的操作步骤。 在大数据开发中数据并不是单一形式的我们常见的数据形式有很多。
比如Excel、TXT、CSV等数据样式以及MySQL数据库、Oracle、Hive等服务中的数据。
那么为了能够让数据在同一个空间或平台上进行运算、处理、统计、分析、预测等工作就需要频繁的对数据进行转换。
此时Kettle就可以提供了这样一种快速、可靠的可视化的数据转换操作。
Kettle可以在多种数据源之间进行快速转换比如把txt转换为Excel、把Excel转换为MySQL等。
Kettle转换数据的操作可以是多种多样的但它的操作步骤几乎都是一致的。
Kettle基本开发步骤
1新建转换/作业
2构建Kettle的数据流图
3配置数据流图中的各个组件
4保存并启动执行。 说明 简单地说就是输入、输出的操作。 总结 1当使用Kettle来转换不同格式的数据文件时优先要A、新建转换B、新建项目 2注意使用Kettle的基本步骤有新建转换、构建流图、配置组件、保存并启动执行。 将txt转换为Excel文件
[掌握]新建转换与流图 目标掌握转换与流图的新建处理。 需求描述小A现在有一个txt文件文件内容如下
id,name,age,gender,province,city,region,phone,birthday,hobby,register_date
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44
267456198006210000,李四,25,1,河南省,郑州市,郑东新区,18681109672,1980-6-21,音乐;阅读;旅游,2017-4-7 9:14
892456199007203000,王五,24,1,湖北省,武汉市,汉阳区,18798009102,1990-7-20,写代码;读代码;算法,2016-6-8 7:34
492456198712198000,赵六,26,2,陕西省,西安市,莲湖区,18189189195,1987-12-19,购物;旅游,2016-1-9 19:15
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44
我们需要使用Kettle将这个文件中的数据抽取出来然后加载到Excel中。 想要进行数据转换我们首先要做的事情就是新建一个转换文件我们点击窗口上的文件 新建 转换。 然后将需要的转换方式拖拽到右侧面板并运行即可完成转换比如输入文本文件、输出Excel文件。 当要使用Kettle来进行数据处理时要来构建Kettle的数据流图也就是用可视化操作把要做的事情【输入-输出】列出来。 1将左边的核心对象中的【输入】文件夹下的【文本文件输入】 拖拽到中间空白区域。 2从输出文件夹中将【Excel输出】组件拖拽到中间空白区域。 3按住Shift键点击【文本文件输入】组件移动鼠标到【Excel输出】然后释放鼠标这样就可以将两个组件连接到一起。 例如一起来完成
1新建一个转换处理并用于将txt数据转换为Excel文件
2构建Kettle的数据流图文本文件输入、Excel输出
3最后将流图组件连接在一起。 总结 1当需要转换不同格式的数据前要记得新建一个转换 2请问当要转换数据格式时要提前确认好输入文件格式和输出文件格式这句话对吗A、正确B、错误。 [掌握]配置流图中的各个组件 目标掌握将txt转换为Excel的流图组件配置。 当把数据流的转换方式与转换方向确定后接下来要做的就是配置每个组件并对参数进行微调。比如
a配置文件文本输入组件
b配置Excel输出组件
a配置文件文本输入组件
1双击【文本文件输入】组件在弹出窗口中点击「浏览」按钮。 2选择「资料/测试数据」中的 user.txt 文件。 3点击「增加」按钮将文件加入到要抽取的数据中来。注意不点增加按钮将不会抽取数据。 4点击「内容」选项卡将分隔符修改为,逗号注意是英文状态的逗号将编码方式修改为UTF-8。 5点击「字段」选项卡再点击「获取字段」按钮可以读取到txt文件中的所有字段。 6点击「预览记录」按钮查看Kettle是否能够读取到 user.txt 中的数据。 当能成功显示时预览内容为 7点击「确定」按钮保存此时【文本文件输入】组件配置完成。 b配置Excel输出组件
1双击【Excel输出】组件在弹出窗口中点击「浏览」按钮。 2点击「内容」选项卡设置要将Excel文件输出到具体的路径然后点击确定再删除文件后缀xls。 3点击「字段」选项卡再点击「获取字段」将Integer类型的格式设置为0表示只输出不带小数点的数字。 例如一起来完成
1将本地数据user.txt配置到【文本文件输入】组件中并设置相应参数
2对【Excel文件输出】组件进行相关参数的配置
3注意若参数值有问题可进行微调。 总结 1当要把txt转换为Excel文件时在输出端要配置为A、文本文件输出B、Excel输出 2注意把txt转换为Excel文件时还得多关注下txt文本内容的格式否则很容易转换失败。 [掌握]保存并启动执行 目标掌握如何保存转换与启动执行操作。 当已成功建好转换和配置好流图后则可以准备执行程序。操作如下
a先保存转换方式
b再执行转换程序
1首先点击工具条上方的保存按钮或者按快捷键Ctrl S。 2Kettle会提示让我们保存该数据流图转换此时选择保存到指定位置即可然后点击「保存」按钮即可。 3点击工具栏上的执行按钮启动执行。当执行完成后组件的右上角有一个绿色的对勾。 准备开始执行转换操作 4执行完后我们可以到指定的位置中查看已经转换完成的Excel文件并可以看到里面的内容。 例如一起来完成
1保存转换与流图组件到本地并准备启动执行
2观察执行的结果并对有问题的数据参数进行微调。 总结 1当要保存转换时保存生成的是一个以结尾的文件A、.xlsB、.ktr 2注意当各个组件都已配置无误后启动执行即可成功否则会出错。 将Excel转换为MySQL
[了解]提出需求与准备工作 目标了解在Kettle中如何配置MySQL 需求描述公司来了有个漂亮的程序员小姐姐叫小花她刚大学毕业项目经理安排她这样一项工作有如下一个Excel文件user.xls这个文件内容是这样的。 项目经理想要让她将这些数据导入到MySQL中。
小花刚来急得团团转不知所措机会来了。
最终需求需要从Excel中将这些用户数据使用Kettle抽取到MySQL数据库中。
为了完成本案例我们需要准备以下几个工作
a找到待处理的Excel文件
b在MySQL数据库中创建数据库 说明对于创建数据库优先考虑使用命令行先创建成功。 a找到待处理的Excel文件
在资源文件夹中可以找到user.xlsx文件 b在MySQL数据库中创建数据库
为了方便将数据抽取到MySQL中我们要创建一个名字叫kettle_demo的数据库后续Excel中的数据会加载到该数据库的表中。
1在DataGrip中右键点击MySQL连接选择New Query Console 2在Datagrip中书写SQL语句并运行我们可以看到kettle_demo数据库名称就已经创建好了。
# 创建新的数据库数据库名称为kettle_demo,字符集为utf8
CREATE DATABASE kettle_demo CHARACTER SET utf8; 3在Kettle中加载MySQL驱动。
Kettle要想连接到MySQL必须要安装MySQL驱动就好比我们装完操作系统要安装显卡驱动一样。
加载MySQL驱动文件需要完成
A将资料中的MySQL jdbc驱动包【mysql-connector-java-8.0.13.jar】导入到 【data-integration/lib】中。
B找到data-integration\simple-jndi\jdbc.properties文件编辑在末尾加上连接信息 C添加完成后重启Kettle即可。
在jdbc.properties文件中末尾添加编辑信息如下
MYSQL_DB/typejavax.sql.DataSource
MYSQL_DB/drivercom.mysql.cj.jdbc.Driver
MYSQL_DB/urljdbc:mysql://localhost:3306/kettle_demo?useUnicodetruecharacterEncodingutf8useSSLfalseserverTimezoneGMT
MYSQL_DB/userroot
MYSQL_DB/password123456 说明MySQL用户名、密码以及数据库名称可根据实际情况进行更改。 例如一起来完成
1新建一个数据库班级kettle_demo并设定编码为utf8
2将MySQL驱动文件拷贝至lib目录下
3将JNDI的编辑信息添加到jdbc.properties文件末尾并重启Kettle。
######################创建存放数据的数据库#############################
# 1.创建库
create database if not exists bj96db_kettle_demo charset utf8;
# 2.查看 总结 1注意在将Excel转换为MySQL数据前要先做好配置MySQL的操作 2当使用Kettle成功连接MySQL后可以使用Kettle自动创建数据表。 休息一下15:45继续上课。
[掌握]新建转换与流图 目标掌握Excel转换MySQL的流图处理。 想要进行数据转换我们首先要做的事情就是新建一个转换文件点击窗口上的文件 新建 转换。 然后将需要的转换方式拖拽到右侧面板中。 要使用Kettle来进行数据处理首先要做的是构建Kettle的数据流图。 1 从左边的核心对象中分别拖入「输入/Excel输入」、「输出/表输出」两个组件到中间区域。 2然后按住Shift键在「Excel输入」组件上点击鼠标左键拖动到「表输出」组件上连接两个组件。 例如一起来完成
1新建一个转换处理并用于将Excel数据转换为MySQL数据
2构建Kettle的数据流图Excel输入、表输出
3最后将流图组件连接在一起。 总结 1当要把数据转换为MySQL时输出时选择组件为A、表输出B、SQL输出 2注意在数据转换前一定要提前确认好数据输入、输出的具体格式。 [掌握]配置流图中的各个组件 目标掌握将Excel转换为MySQL的流图组件配置。 此时就需要来配置数据流图中的各个组件
a配置Excel输入组件
b对表输出组件进行配置 说明在这里要配置将数据加载到哪个MySQL中。 a配置Excel输入组件
1首先双击【Excel输入】组件会弹出一个对话框我们可以在该对话框中配置信息。 2因为此处要抽取的Excel文件为Excel 2007版本所以指定表格类型为Excel 2007 XLSX (Apache POI)。 3随后我们需要找到要抽取的那个Excel文件点击「浏览」按钮找到「资料/测试数据/user.xlsx」文件。 4再点击旁边的「增加」按钮切记一定要点击增加按钮否则没有效果 5在弹出菜单中点击「工作表/Sheet1」工作簿并点击「」按钮移动到右边。 6点击「字段」选项卡点击「获取来自头部数据的字段...」按钮Kettle会从Excel中读取第一行字段名称。 7将age字段的格式设置为#register_date的格式设置为yyyy-MM-dd HH:mm:ss。 8点击「预览记录」按钮可以查看抽取到的数据。 9点击「确定」按钮并进行保存刚刚的操作。 b对表输出组件进行配置MySQL信息
要使用Kettle操作MySQL必须要建立Kettle与MySQL的连接否则Kettle也不知道操作哪个MySQL库。
1双击「表输入」组件会自动弹出配置窗口点击「新建」按钮。 2此时就需要来配置MySQL连接
A输入连接名称此处可自定义名称
B在连接类型列表中选择MySQL
C输入连接方式JNDI
DJNDI名称填写MYSQL_DB 3点击【测试】按钮测试Kettle是否能够正确连接到MySQL。 4点击确认保存到这里数据库连接就应该创建好了。 当然了我们也可以使用Kettle在MySQL中自动创建数据表。
此时继续使用Kettke自动在MySQL中创建表。
1输入目标表的名称为t_user后续Kettle将在MySQL中创建一张名为 t_user 的数据表。 2点击下方的「SQL」按钮可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句我们将age和gender字段的数据类型改为INT类型。 3点击【执行】按钮。Kettle会自动执行该SQL脚本。执行完后便可以在DataGrip中查看到t_user表。 4点击「确定」按钮保存配置。 例如一起来完成
1将本地Excel表数据user.xlsx配置到【Excel文件输入】组件中并设置相应参数
2对【表输出】组件进行相关参数的配置
3注意若参数值有问题可进行微调。 总结 1注意在把Excel数据转换为MySQL时的Excel输入的Integer字段数据要设定为格式A、*B、# 2通常情况下配置流图的顺序都是先配置输入端、再配置输出端并在执行过程中再对参数进行调整。 [掌握]保存并启动执行 目标掌握如何保存转换与启动执行操作。 当已成功建好转换表数据和配置好流图后则可以准备执行程序。
1点击保存按钮进行保存转换操作。 2点击工具栏上的执行按钮启动执行操作。 准备开始执行转换操作 3执行成功后可以看到以下界面说明Kettle的转换已经执行成功 4如果要确认执行结果是否成功则需要到DataGrip中查看双击t_user表可以看到Excel中的数据都已经抽取到了MySQL。 例如一起来完成
1保存转换与流图组件到本地并准备启动执行
2观察执行的结果并查看是否已成功添加数据。 总结 1当配置流图准确无误后启动执行即可成功完成数据格式的转换处理 2思考若要多次把数据转换到MySQL中是否需要多次设置MySQL连接呢 MySQL表与表数据转换
[了解]共享数据连接 目标了解如何设置数据连接共享 为了多次转换数据格式时连接数据库更方便可以在Kettle中将一个数据库进行共享这样其他的Kettle转换就都可以复用该数据库连接了。
共享数据库连接的具体操作步骤如下
1在转换中点击「主对象树」点击【DB连接】可以查看到数据库连接名如果连接已经存在则无需创建 2右键单击需要的数据库连接选择「共享」 3发现刚刚选择的数据库连接已经变成黑体字说明已经共享成功。 此时就可以发现在新建的转换中能看到有该数据库连接了。这样就避免了每次我们都需要配置该数据库连接。 例如一起来完成
1将数据库连接进行设置共享
2观察成功设定共享数据的效果。 总结 1在实际应用中想要简化数据连接的操作则可以进行连接共享 2请问当成功共享了数据连接后再转换为MySQL数据时则可以直接使用该连接这句话对吗A、对B、错。 [掌握]新建转换与流图 目标掌握MySQL转换MySQL的流图处理。 需求描述前面我们已经将Excel中数据抽取到了MySQL的t_user表中现在有了新需求要将MySQL数据库中的 t_user 表中的数据抽取出来加载到另外一张表 t_user1中。 当想要进行数据转换时我们首先要做的事情就是新建一个转换文件我们点击窗口上的文件 新建 转换。 然后将需要的转换方式拖拽到右侧面板并运行即可完成转换。 要使用Kettle来进行数据处理先要构建Kettle的数据流图。 1从核心对象的输入组件中将「表输入」组件拖拽到中间的空白处。 2从输出中将「 表输出」组件拖拽到中间空白处。 3按住Shift键并按住鼠标左键点击【表输入】组件并拉动鼠标移动到【表输出】组件松开鼠标即可位置流图连接。 例如一起来完成
1新建一个转换处理并用于将MySQL数据转换为MySQL数据
2构建Kettle的数据流图表输入、表输出
3最后将流图组件连接在一起。 总结 1当把MySQL表与表之间转换数据时可选择流图组件、表输出A、SQL输入B、表输入。 [掌握]配置流图中的各个组件 目标掌握将MySQL转换为MySQL的流图组件配置。 此时就需要来配置数据流图中的各个组件
a配置表输入组件
b对表输出组件进行配置 说明在这里要配置将MySQL的数据表加载到哪个数据表中。 a配置表输入组件步骤
1双击表输入组件在弹出对话框中选择「获取SQL查询语句」。 2选择 t_user 表点击确定。 3在弹出对话框中选择「否」。 4点击「预览」按钮查看是否能够从MySQL读取数据 5可以看到Kettle中可以查看到 t_user 表中的数据。 b对表输出组件进行配置步骤
1双击表输出组件在目标表输入t_user1。 2点击[SQL]按钮让Kettle中自动创建表结构。 3可以看到Kettle自动为我们生成了创建表的SQL语句如有需要可以简要更改字段类型。 4点击执行后可以查看到已成功创建数据表。 5我们可以到DataGrip中看到t_user1已经成功创建但表中没有任何数据。 6点击「确定」按钮并进行保存表输出信息。 例如一起来完成
1将MySQL的用户表配置到【表输入】组件中并设置相应参数
2对【表输出】组件进行相关参数的配置并设定新存入数据的数据表
3注意若参数值有问题可进行微调。 总结 1注意当在转换表数据时表字段的类型要保持一致 2在配置组件时发现字段类型有问题时可以对类型进行必要的修改。 [掌握]保存并启动执行 目标掌握如何保存转换与启动执行操作。 当已成功建好表输入输出数据和配置好流图后则可以准备执行程序。
1点击保存按钮可以保存该转换。 2点击【执行】按钮执行如果看到每个组件上都打上了绿色的对号说明转换已经执行成功。 3再打开DataGrip刷新下表格可以看到数据已经加载到t_user1中。 例如一起来完成
1保存转换表输入输出与流图组件到本地并准备启动执行
2观察执行的结果并查看数据表是否已成功添加数据。 总结 1MySQL表间转换使用到的组件为、表输出A、Excel输入B、表输入 2数据转换的步骤是新建转换、构建kettle的数据流图、配置数据流图中的各个组件、保存并启动执行。 常见的其他转换操作
[了解]插入/更新组件 目标了解插入/更新组件的使用方法。 对于插入/更新组件指的是能够将Kettle抽取的数据与某个表的数据进行对比如果数据存在就更新不存在就插入。 当要插入/更新数据时需要注意几个点
1先清空t_user1表中的数据 2新建转换并建立数据流图 接着需要来配置Kettle数据流图中的【表输入】组件操作步骤
1双击表输入组件点击获取SQL查询语句选择t_user1表。 2点击预览按钮查看Kettle是否能够从MySQL中读取数据。 继续来配置插入/更新组件操作步骤
1双击插入/更新组件点击浏览按钮找到t_user1表。 2添加用来查询的关键字设置表字段为id比较符为流里的字段为id。 3点击「获取和更新字段」这样Kettle将会自动更新、或插入所有的字段。 最后一起保存并启动执行Kettle转换操作步骤
1保存并启动该Kettle转换。 2在DataGrip中先修改t_user中张三的年龄改为22然后执行转换后刷新t_user1表发现张三的年龄已经更新为22。 例如一起来完成
1先试着到【表输入】与【表输出】组件中进行多次执行转换观察效果
2接着先清空新建的存数据的用户表信息
3新建【表输入】与【插入/更新】组件后完成配置再执行转换并观察结果
4给【表输入】的数据表中添加一条数据再执行转换观察数据效果。
insert into【xxx表】
values(114456198712198986,张敏敏,21,0,广东省,深圳市,南山区,17503046666,1999-02-14,Cosplay;短视频,2019-9-10 19:11); ########################插入或更新#####################################
# 使用库
use bj96db_kettle_demo;
# 清空数据
truncate table bj96_tb_user222;
# 插入数据
insert intobj96_tb_user
values(114456198712198986,张敏敏,21,0,广东省,深圳市,南山区,17503046666,1999-02-14,Cosplay;短视频,2019-9-10 19:11); 总结 1【插入/更新】组件能够将Kettle抽取的数据与某个表的数据进行对比如果数据存在就更新不存在就插入 2插入/更新组件可以设置比较字段比较方式等通常比较方式设定为。A、isB、。 [了解]switch/case组件 目标了解如何使用switch/case组件。 有一天体育老师要让班上的男女同学分别排成两队分别是男同学一队女同学一队。 体育老师要做一件非常重要的事情判断学生是男孩还是女孩然后让他们各自到指定的队伍中。在Kettle中也可以做到这个效果
在Kettle中可以使用switch/case组件来做类似于体育老师要做的事情——判断。
注意switch/case组件存在于【流程】中。 需求描述要从t_user表中读取所有用户数据并将性别为男的用户导出到一个Excel、性别为女的导出到另外一个Excel。 先来构建Kettle数据流图操作步骤如下
1将【表输入】组件拖拽到中间的空白区域。 2从流程文件夹中将 Switch/case 组件拖拽到中间的空白区域。 3再分别拖入两个Excel输出组件并对组件重命名。 4按住shift键将组件按照下图方式连接起来。 接着一起来配置表输入组件。
1双击表输入组件指定从t_user表中抽取数据并预览。 另外的要来配置switch/case组件。
1此处要指定按照性别来判断并输出到Excel文件。需要设置Switch字段为gender在Case值列表中将值分别改为男、女。
如果gender是男的话则将数据加载到 Excel输出 - 男如果gender是女的话将数据加载到 Excel输出 - 女。 然后就需要来配置Excel输出组件操作步骤
1双击Excel输出-男组件指定输出到指定的文件夹及文件名。 2点击字段并获取字段将age字段的格式设置为0。 3双击Excel输出-女组件指定输出到指定的文件中。 4点击字段并获取字段将age字段的格式设置为0。 最后再来启动执行操作步骤
1保存并启动该Kettle转换。 2执行完毕后Kettle会自动生成两个Excel文件一个文件保存了性别为男的所有用户另一个文件保存了性别为女的所有用户。 例如一起来完成
1新建转换与数据流图表输入、switch/case、Excel输出
2对数据流图进行配置处理设置1为男、0为女
3保存转换并启动观察执行效果。 总结 1我们会发现switch/case组件提供了的实现A、条件判断B、循环 2一般地可以简单的把switch/case组件当作是where条件筛选处理。 [了解]SQL脚本执行 目标了解如何执行SQL脚本 在Kettle中也可以使用Kettle中专门的SQL脚本组件来执行SQL脚本信息。
需求描述使用Kettle执行SQL脚本并将t_user1表中的数据清空。
接着一起来看看使用Kettle执行SQL脚本的操作步骤
1首先将脚本文件夹下的【执行SQL脚本】拖拽到右侧的空白中。 2继续配置Kettle数据流图组件参数我们双击【执行SQL脚本】组件选择要连接的数据库以及要执行的SQL命令。
我们要将t_user1表中的数据清空所以脚本中要执行的语句如下
TRUNCATE TABLE t_user1; 3保存并启动该Kettle转换并执行。 4当执行完毕后我们发现t_user1中的数据已经被完全清除掉了说明Kettle已经帮助我们执行了SQL脚本。 例如一起来完成
1创建转换与数据流图执行SQL脚本组件
2清空新存放数据的用户表信息执行脚本并观察效果。 truncate table bj96_tb_user222; 总结 1在应用中可以使用Kettle执行一段简要的SQL脚本而复杂的脚本尽可能使用SQL语句 2在操作中会发现Kettle工具自动化程度较高。 [了解]job作业开发 目标了解Kettle作业的开发流程。 需求描述使用Kettle每5秒钟执行一次转换处理并将Excel中的数据抽取并加载到MySQL中。
要实现这个需求我们需要学习Kettle的job作业。
Kettle中的作业(job定义了转换应该如何执行同时可以配置转换来进行定时任务。 首先需要来创建作业并构建数据流图操作步骤如下
1点击文件选择新建/作业按钮就可以创建作业了。 2将核心对象中通用文件夹下的Start组件拖拽到中间的空白区域。 3将通用文件夹的「转换」组件拖拽到中间的空白区域。 4将通用文件夹中的「成功」组件拖拽到中间的空白区域。 5同样使用Shift键将几个组件都连接起来。 接着需要来一起配置作业流图组件操作步骤如下
1到配置转换这里选择作业中要执行的【转换】此处选择之前开发好的excel_to_mysql.ktr即可。 2要注意的是此处要先保存作业然后再配置转换。 3然后需要配置Start启动组件。 4最后再启动并执行job作业执行程序后观察数据库中的数据是否会5秒钟增加一次。 例如一起来完成
1创建转换与数据流图新建job作业、Start、转换、成功并配置组件信息
2实现每隔5秒把Excel中的数据自动转换到MySQL中并观察数据的变化效果。 总结 1Kettle中的作业(job定义了转换应该如何执行并能配置转换进行定时任务 2请问在配置作业前要先保存作业然后再配置转换这句话正确吗A、正确B、错误。
