如何做弹幕网站,大连网站建设学校,php网站怎么做缓存,做的好的电商网站项目一、目标
Kettle9.2.0在Linux上安装好后#xff0c;需要与Hive3.1.2数据库建立连接
之前已经在本地上用kettle9.2.0连上Hive3.1.2
二、各工具版本
#xff08;一#xff09;kettle9.2.0
kettle9.2.0安装包网盘链接
链接#xff1a;https://pan.baidu.com/s/15Zq9w…一、目标
Kettle9.2.0在Linux上安装好后需要与Hive3.1.2数据库建立连接
之前已经在本地上用kettle9.2.0连上Hive3.1.2
二、各工具版本
一kettle9.2.0
kettle9.2.0安装包网盘链接
链接https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwdzwae 提取码zwae 二Hive3.1.2
三Hadoop3.1.3
三、前提准备
一Kettle9.2.0已在Linux上安装好
二注意Kettle9.2里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本
1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar 2、Kettle9.2里MySQL驱动包的版本
mysql-connector-java-5.1.37.jar mysql-connector-java-8.0.30.jar 四、安装步骤
一根据Hadoop版本在选择对应的文件千万不要随便选 1、文件路径
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations 2、Hadoop版本与文件夹对应规则 3、选择文件复制文件名Hadoop版本与文件夹一定要匹配
因为我的Hadoop版本是Hadoop3.1.3所以我选择的文件夹是hdp30
二修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties 1、文件路径
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin 2、 只要设置 active.hadoop.configurationhdp30 三从我们安装的Hadoop、Hive里拉取需要的文件复制到hdp30的文件夹下如需要HBase则拉取HBase的 hbase-site.xml
1、文件路径
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30
2、主要替换5个文件
Hadoop4个文件 yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml
Hive1个文件 hive-site.xml
结果如下所示 四复制需要的jar包
1、从Hive安装路径的lib目录复制以hive开头的jar包复制到hdp30\lib文件夹
文件路径/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib 2、复制Hadoop安装目录下的 hadoop-common-3.1.3.jar到hdp30\lib里
文件路径/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib 3、把hive的安装路径hive312/jdbc里的驱动包复制到 kettle9.2的data-integration\lib文件下
1hive312/jdbc里的驱动包文件路径 2目标文件路径/opt/install/kettle9.2/data-integration/lib 五启动Hadoop和Hive服务打开kettle9.2连接Hive数据库 kettle9.2连接hive312连接成功
六执行从Hive到ClickHouse的kettle任务测试一下 kettle任务运行成功
七注意Hive数据库的中文乱码问题
解决方法kettle9.2在配置Hive数据库时在高级模块添加set names utf8; 配置好后测试一下 到这里Linux上安装的Kettle9.2.0连接Hive3.1.2数据库就结束了
乐于奉献共享帮助你我他
