网站备案查询网址,做防水怎么注册网站,上海闵行区兼职网,关键词优化排名的步骤Centos7环境下nifi单机部署 前言一、安装Nifi1.1 下载并解压1.2 修改配置文件 二、启动Nifi程序三、Nifi的简单使用3.1 文件移动3.2 本地文件传到HDFS 参考博客 前言 本以为在服务器上部署nifi很简单#xff0c;跟着教程走就好#xff0c;但是并没有成功#xff0c;可能是因… Centos7环境下nifi单机部署 前言一、安装Nifi1.1 下载并解压1.2 修改配置文件 二、启动Nifi程序三、Nifi的简单使用3.1 文件移动3.2 本地文件传到HDFS 参考博客 前言 本以为在服务器上部署nifi很简单跟着教程走就好但是并没有成功可能是因为版本的问题也可能有其他原因导致我一直没有部署成功后面想着先在本地windows上部署先学着再说在看完windows部署教程后发现了之前教程中没有提到的一点就是在nifi.properties配置中https和http只能保留一组于是我再去centos7下部署nifi就成功了好了接下来我将具体介绍nifi的部署过程。 一、安装Nifi
1.1 下载并解压
下载所需版本的Nifi这里我下载版本为nifi-1.19.1-bin.zip 下载地址https://archive.apache.org/dist/nifi/1.9.1/nifi-1.19.1-bin.zip 如果觉得官网慢可以在我的百度网盘中下载里面还有其他相关文件 网盘链接https://pan.baidu.com/s/1WoeCQ_bLh5hrRv9t0hAUDw?pwd2xwq 下载好后解压到相应目录下
cp nifi-1.19.1-bin.zip /opt/module/
cd /opt/module/
unzip nifi-1.19.1-bin.zip1.2 修改配置文件
修改conf目录下的nifi.properties文件
cd nifi-1.19.1/
vim conf/nifi.properties修改nifi端口和host地址查找 nifi.web.http.port 和 nifi.web.http.host(这里的nifi.web.http.portnifi.web.http.hostnifi.web.http.network.interface.default与 nifi.web.https.hostnifi.web.https.portnifi.web.https.network.interface.default 只能共存一组区别就是请求的时候一个是http请求一个是https的请求)我之前一直没有成功就是因为这里都放开了现在我将把https给注释配置httpnifi.remote.input.http.enabled为false具体配置参数如下
# Site to Site properties
nifi.remote.input.host
nifi.remote.input.securetrue
nifi.remote.input.socket.port
# nifi.remote.input.http.enabledtrue
nifi.remote.input.http.enabledfalse
nifi.remote.input.http.transaction.ttl30 sec
nifi.remote.contents.cache.expiration30 secs# web properties #
############################################## For security, NiFi will present the UI on 127.0.0.1 and only be accessible through this loopback interface.
# Be aware that changing these properties may affect how your instance can be accessed without any restriction.
# We recommend configuring HTTPS instead. The administrators guide provides instructions on how to do this.# chen 是我服务器的 hostname
nifi.web.http.host
nifi.web.http.port8443
nifi.web.http.network.interface.default############################################## nifi.web.https.host
# nifi.web.https.port8443
# nifi.web.https.network.interface.default
nifi.web.https.application.protocolshttp/1.1
nifi.web.jetty.working.directory./work/jetty
nifi.web.jetty.threads200
nifi.web.max.header.size16 KB
nifi.web.proxy.context.path
nifi.web.proxy.host
nifi.web.max.content.size
nifi.web.max.requests.per.second30000
nifi.web.max.access.token.requests.per.second25
nifi.web.request.timeout60 secs
nifi.web.request.ip.whitelist
nifi.web.should.send.server.versiontrue
nifi.web.request.log.format%{client}a - %u %t %r %s %O %{Referer}i %{User-Agent}inifi.web.http.host可以不写也可以配置成0.0.0.0我这里就不配置了
二、启动Nifi程序
在前面保持配置文件后就可以启动Nifi程序进行测试了
./bin/nifi.sh start如下便是启动成功一般过个一两分钟就可以访问nifi的web网页了即 ip:端口号 可以使用 netstat -tuln | grep 8443 命令查看端口使用情况 Nifi Web界面如下(如何nifi启动了还是访问不通记得看看服务器8443端口号是否开放)
三、Nifi的简单使用
3.1 文件移动
新建一个组命名好后 双击 该组进入 选择Processor处理器选择getFile处理器即获取某路径下的文件 再次点击Processor处理器选择putFile处理器即文件存放路径 右键configure 配置待传输文件的所在路径 然后配置存放文件的路径APPLY 将两个处理器链接起来APPLY 这里可以看到PutFile有警告说明还没配置好 配置一下该处理器失败或结束后停止还是继续 现在两个处理器都配置好了先执行getFile处理器 我现在在服务器端向 /root/nifi/input 里面写入两个文件可以看到 Queue 中已经有两个文件 右击 Queue 点击 List Queue 便可查看Queue中存放的文件信息点击 小眼睛 可以查看文件内容 右键GetFile停掉开始执行PutFile 在 /root/nifi/output 中可以查看到文件
3.2 本地文件传到HDFS
PutHDFS主要配置 hdfs配置文件 和 存储文件的路径
# hdfs配置文件 有多个文件用 , 分隔
Hadoop Configuration Resources/opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml,/opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml在服务器 /root/nifi/input 下写入文件 StopGetFile放开PutHDFS即可往HDFS中写入文件 在HDFS中可查看到需要传输的文件 NIFI除了以上这些还可以联通Mysql、Kafka进行文件传输对文件内容进行格式转换等。
参考博客
nifi下载windows版本安装启动成功NiFi集群搭建及必要的相关配置Apache Nifi 安装及MySQL使用windows版本NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理一篇学会部署NiFi尚硅谷大数据NiFi教程从部署到开发
