一个服务器上有两个网站 要备案两次吗,建e网app下载,wordpress 关注公众号,郴州网站建设的公司Hadoop集群部署#xff08;普通用户#xff09;
环境准备
1#xff09;准备3台客户机#xff08;关闭防火墙、静态IP、主机名称#xff09;
如果这一步已经配置过了#xff0c;可以忽略
# 1 关闭防火墙
systemctl stop firewalld.service # 关闭当前防火墙
systemctl…Hadoop集群部署普通用户
环境准备
1准备3台客户机关闭防火墙、静态IP、主机名称
如果这一步已经配置过了可以忽略
# 1 关闭防火墙
systemctl stop firewalld.service # 关闭当前防火墙
systemctl disable firewalld.service # 关闭防火墙开机自启动# 2.配置静态ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 做出如下修改
BOOTPROTOstatic # 改为静态
# 末尾添加如下内容
IPADDR192.168.188.128
GATEWAY192.168.188.2
NETMASK255.255.255.0
DNS1192.168.188.2# 重启网卡
systemctl restart network.service# 3.修改主机名
vim /etc/hostname
# 配置hosts映射
vim /etc/hosts
192.168.188.128 kk01
192.168.188.129 kk02
192.168.188.130 kk03# 修改window的主机映射文件hosts
# 进入C:\Windows\System32\drivers\etc
# 添加如下内容
192.168.188.128 kk01
192.168.188.129 kk02
192.168.188.130 kk032安装JDK并配置JDK环境变量
扩展部分可选
# 如果安装的linux是最小版的则需要安装net-tool工具包、vim编辑器等
yum install -y net-tools # 工具包中包含ifconfig等命令
yum install -y vim# 安装epel-release(Extra Packages for Enterprise Linux)与rpm相似但是可以下载到官方repository中是找不到的rpm包
yum install -y epel-release3创建普通用户并让其具有root权限
配置nhk用户具有root权限方便后期加sudo执行root权限的命令如果使用root用户可以忽略该步骤
# 创建用户 如果安装Linux时已经创建了这一步骤可以忽略
useradd nhk
passwd 123456# 配置普通用户(nhk)具有root权限方便后期加sudo执行root权限的命令
vim /etc/sudoers# 在%wheel这行下面添加一行 (大概是在100行左右位置)## Allow root to run any commands anywhere
root ALL(ALL) ALL ## Allows members of the sys group to run networking, software,
## service management apps and more.
# %sys ALL NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS## Allows people in group wheel to run all commands
%wheel ALL(ALL) ALL ## Same thing without a password
# %wheel ALL(ALL) NOPASSWD: ALL
nhk ALL(ALL) NOPASSWD: ALL 注意
nhk ALL(ALL) NOPASSWD: ALL 这一行不要直接放到root行下面因为所有用户都属于wheel组你先配置了nhk具有免密功能但是程序执行到%wheel行时该功能又被覆盖回需要密码。所以nhk要放到%wheel这行下面。
4创建统一工作目录
后续在集群的多台机器之间都需要创建
# 个人习惯
mkdir -p /opt/software/ # 软件安装目录、安装包存放目录
mkdir -p /opt/data/ # 数据存储路径# 修改文件夹所有者和所属组 如果是使用root用户搭建集群可以忽略
chown nhk:nhk /opt/software
chown nhk:nhk /opt/data# 黑马推荐
mkdir -p /export/server/ # 软件安装目录
mkdir -p /export/data/ # 数据存储路径
mkdir -p /export/software/ # 安装包存放目录# 尚硅谷推荐
mkdir /opt/module
mkdir /opt/software5集群时间同步
# 在集群的每台集群
yum -y install ntpdate $ sudo ntpdate ntp4.aliyun.com
16 Jun 20:04:19 ntpdate[3549]: adjust time server 203.107.6.88 offset 0.213857 sec
# 或
$ sudo ntpdate ntp5.aliyum.com# 查看时间
date集群部署
1集群部署规划
注意NameNode 和 SecondaryNameNode 不要安装在同一台服务器
注意ResourceManager 也很消耗内存不要和 NameNode、SecondaryNameNode 配置在同一台机器上。
kk01kk02kk03HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager
2上传Hadoop压缩包
上传压缩包至 /opt/software目录下
[nhkkk01 software]$ ll
total 849736
-rw-rw-r--. 1 nhk nhk 338075860 Jun 16 20:10 hadoop-3.1.3.tar.gz
drwxr-xr-x. 8 nhk nhk 255 Sep 14 2017 jdk1.8.0_152
-rw-rw-r--. 1 nhk nhk 531056640 Jun 16 19:27 mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar
-rw-r--r--. 1 nhk nhk 985600 Apr 28 2022 mysql-connector-java-5.1.37.jar
drwxrwxr-x. 2 nhk nhk 4096 Jun 16 19:30 mysql_lib3解压压缩包
[nhkkk01 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/software/4配置环境变量
进入 /etc/profile.d/my_env.sh 文件
[nhkkk01 software]$ sudo vim /etc/profile.d/my_env.sh在profile文件末尾添加JDK路径shitfg
#HADOOP_HOME
export HADOOP_HOME/opt/software/hadoop-3.1.3
export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin刷新环境变量
[nhkkk01 software]$ source /etc/profile.d/my_env.sh配置集群
1core配置文件
配置core-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim core-site.xml参考的配置文件如下
configuration!-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://kk01:8020/value/property!-- 指定hadoop数据的存储目录默认存储在/tmp这会导致数据丢失 --propertynamehadoop.tmp.dir/namevalue/opt/software/hadoop-3.1.3/data/value/property!-- 配置HDFS网页登录使用的静态用户为nhk(用哪个用户启动Hadoop就配置哪个用户) --propertynamehadoop.http.staticuser.user/namevaluenhk/value/property!-- 下面三个参数在Hadoop与 hive 整合时会用到 --!-- 配置该nhk(superUser)允许通过代理访问的主机节点 --propertynamehadoop.proxyuser.nhk.hosts/namevalue*/value/property!-- 配置该nhk(superUser)允许通过代理用户所属组 --propertynamehadoop.proxyuser.nhk.groups/namevalue*/value/property!-- 配置该nhk(superUser)允许通过代理的用户--propertynamehadoop.proxyuser.nhk.users/namevalue*/value/property!-- 缓冲区大小实际工作中根据服务器性能动态调整 --propertynameio.file.buffer.size/namevalue4096/value/property/configuration注意
propertynamefs.defaultFS/namevaluehdfs://kk01:8020/value
/property在 Hadoop 1.x 版本 为 8020
在 Hadoop 2.x 版本 为 9000
在 Hadoop 3.0.x 版本 为 9020
在 Hadoop 3.1.x 版本 为 80202HDFS配置文件
配置hdfs-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim hdfs-site.xml参考的配置文件如下
configuration!-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluekk01:9870/value/property!-- 2nn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluekk03:9868/value/property!-- 测试环境指定HDFS副本的数量1生成环境一定要配置成3 --propertynamedfs.replication/namevalue3/value/property!-- 关闭 hdfs 文件权限检查方便学习使用 --propertynamedfs.permissions/namevaluefalse/value/property
/configuration注意
!-- nn web端访问地址--
propertynamedfs.namenode.http-address/namevaluekk01:9870/value
/property在 Hadoop 1.x 版本 为 50070
在 Hadoop 2.x 版本 为 50070
在 Hadoop 3.x 版本 为 9780!-- 2nn web端访问地址--
propertynamedfs.namenode.secondary.http-address/namevaluekk03:9868/value
/property在 Hadoop 2.x 版本 为 500903YARN配置文件
配置yarn-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim yarn-site.xml参考的配置文件如下
configuration!-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluekk02/value/property!-- 环境变量的继承 在2.x版本不需要显式配置--propertynameyarn.nodemanager.env-whitelist/name
valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property!-- 以下三个参数在生产环境中需要每台单独配置以契合机器的内存大小--!--yarn单个容器允许分配的最大最小内存默认8g--propertynameyarn.scheduler.minimum-allocation-mb/namevalue512/value/propertypropertynameyarn.scheduler.maximum-allocation-mb/namevalue4096/value/property!-- yarn容器允许管理的物理内存大小默认8g --propertynameyarn.nodemanager.resource.memory-mb/namevalue4096/value/property!-- 关闭yarn对虚拟内存的限制检查 --!-- 以下两个参数默认都为 true --propertynameyarn.nodemanager.pmem-check-enabled/namevaluetrue/value/propertypropertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property
/configuration4MapReduce配置文件
配置mapred-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim mapred-site.xml 参考的配置文件如下
configuration!-- 指定MapReduce程序运行在Yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration5workers
该文件用于指定 NodeManage、DataNode启动的节点
[nhkkk01 hadoop]$ pwd
[nhkkk01 hadoop]$ vim workers
[nhkkk01 hadoop]$ cat workers
kk01
kk02
kk03注意
该文件中添加的内容结尾不允许有空格文件中不允许有空行。
配置历史服务器
为了查看程序的历史运行情况需要配置一下历史服务器。具体配置步骤如下
1配置 mapred-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim mapred-site.xml在文件中增加如下配置
!-- MR程序历史服务地址--
propertynamemapreduce.jobhistory.address/namevaluekk01:10020/value
/property
!-- MR程序历史服务器web端地址--
propertynamemapreduce.jobhistory.webapp.address/namevaluekk01:19888/value
/property配置日志的聚集
日志聚集概念应用运行完成以后将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处可以方便的查看到程序运行详情方便开发调试。
注意
开启日志聚集功能需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下
1配置 yarn-site.xml
[nhkkk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhkkk01 hadoop]$ vim yarn-site.xml在文件中增加如下配置
!-- 开启日志聚集功能 --
propertynameyarn.log-aggregation-enable/namevaluetrue/value
/property!-- 设置日志聚集服务器地址 --
!-- 设置yarn历史服务器地址--
property nameyarn.log.server.url/name valuehttp://kk01:19888/jobhistory/logs/value
/property!-- 设置日志保留时间为7天 --
!-- 历史日志保存的时间 7天--
propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value
/property分发Hadoop及其环境变量
1分发Hadoop
# 使用自定义分发脚本
[nhkkk01 hadoop-3.1.3]$ xsync /opt/software/hadoop-3.1.3/# 如果没有脚本也可以使用 scp 或 rsync 命令
scp -r /opt/software/hadoop-3.1.3/ nhkkk02:/opt/software/
scp -r /opt/software/hadoop-3.1.3/ nhkkk03:/opt/software/2分发环境变量
# 使用自定义分发脚本分发环境变量xsync必须使用绝对路径
[nhkkk01 hadoop-3.1.3]$ sudo /home/nhk/bin/xsync /etc/profile.d/my_env.sh# 如果没有脚本也可以使用 scp 或 rsync 命令
scp -r /etc/profile.d/my_env.sh nhkkk02:/etc/profile.d/my_env.sh
scp -r /etc/profile.d/my_env.sh nhkkk03:/etc/profile.d/my_env.sh3刷新环境变量
[nhkkk01 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh
[nhkkk02 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh
[nhkkk03 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh群起集群
1格式化
如果集群是第一次启动需要在kk01节点格式化NameNode注意格式化之前一定要先停止上次启动的所有namenode 和 datanode进程然后再删除 data 和 log 数据后续如果集群出错也是这样重新进行格式化
[nhkkk01 hadoop-3.1.3]$ bin/hdfs namenode -format# 若出现 successfully formatted 字样则说明格式化成功2启动HDFS
[nhkkk01 hadoop-3.1.3]$ sbin/start-dfs.sh # 第一次启动有这些警告是正常的
Starting namenodes on [kk01]
Starting datanodes
kk02: WARNING: /opt/software/hadoop-3.1.3/logs does not exist. Creating.
kk03: WARNING: /opt/software/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [kk03]3启动 yarn
需要在配置了ResourceManager的节点kk02启动YARN
[nhkkk02 hadoop-3.1.3]$ sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers
在kk01上查看集群进程
[nhkkk01 hadoop-3.1.3]$ xcall jps
------------ kk01 ------------
5125 Jps
4648 DataNode
4987 NodeManager
4477 NameNode
------------ kk02 ------------
3578 DataNode
4330 Jps
3820 ResourceManager
3950 NodeManager
------------ kk03 ------------
3890 NodeManager
4025 Jps
3724 SecondaryNameNode
3630 DataNode4web端查看HDFS
Web端查看HDFS的Web页面http://kk01:9870/
5web端查看 SecondaryNameNode
Web端查看SecondaryNameNode的Web页面http://kk03:9868/status.html
我们发现查看了但是啥也不显示查看浏览器开发者页面发现如下报错
Uncaught ReferenceError: moment is not definedat Object.date_tostring (dfs-dust.js:61:7)
....下面来解决这个bug
1进入SNN节点所在的机器
[nhkkk03 static]$ pwd
/opt/software/hadoop-3.1.3/share/hadoop/hdfs/webapps/static
[nhkkk03 static]$ vim dfs-dust.js将如下函数
date_tostring : function (v) {return moment(Number(v)).format(ddd MMM DD HH:mm:ss ZZ YYYY);
},修改为
date_tostring : function (v) {return Number(v).toLocaleString();
},接着我们删除浏览器缓存再次查看SecondaryNameNode的Web页面即可正常查看
Hadoop群起脚本
如果我们每次要启动Hadoop都要现在kk01节点上启动hdfs、在kk02上启动yarn这样岂不是很麻烦所有我们编写了Hadoop群起停的脚本如下
[nhkkk01 bin]$ pwd
/home/nhk/bin
[nhkkk01 bin]$ vim hdp.sh 脚本内容如下
#!/bin/bash
if [ $# -lt 1 ]
thenecho No Args Input...exit ;
fi
case $1 in
start)echo 启动 hadoop集群 echo --------------- 启动 hdfs ---------------ssh kk01 /opt/software/hadoop-3.1.3/sbin/start-dfs.shecho --------------- 启动 yarn ---------------ssh kk02 /opt/software/hadoop-3.1.3/sbin/start-yarn.shecho --------------- 启动 historyserver ---------------ssh kk01 /opt/software/hadoop-3.1.3/bin/mapred --daemon start historyserver
;;
stop)echo 关闭 hadoop集群 echo --------------- 关闭 historyserver ---------------ssh kk01 /opt/software/hadoop-3.1.3/bin/mapred --daemon stop historyserverecho --------------- 关闭 yarn ---------------ssh kk02 /opt/software/hadoop-3.1.3/sbin/stop-yarn.shecho --------------- 关闭 hdfs ---------------ssh kk01 /opt/software/hadoop-3.1.3/sbin/stop-dfs.sh
;;
*)echo Input Args Error...
;;
esac给脚本赋予执行权限
[nhkkk01 bin]$ chmod 777 hdp.sh集群时间同步
时间同步的方式找一个机器作为时间服务器所有的机器与这台集群时间进行定时的同步比如每隔十分钟同步一次时间。
1时间服务器配置必须root用户
0查看所有节点ntpd服务状态和开机自启动状态
[nhkkk01 ~]$ sudo systemctl status ntpd
[nhkkk01 ~]$ sudo systemctl is-enabled ntpd[nhkkk02 ~]$ sudo systemctl status ntpd
[nhkkk02 ~]$ sudo systemctl is-enabled ntpd[nhkkk03 ~]$ sudo systemctl status ntpd
[nhkkk03 ~]$ sudo systemctl is-enabled ntpd1在所有节点关闭ntp服务和自启动
[nhkkk01 ~]$ sudo systemctl stop ntpd
[nhkkk01 ~]$ sudo systemctl disable ntpd[nhkkk02 ~]$ sudo systemctl stop ntpd
[nhkkk02 ~]$ sudo systemctl disable ntpd[nhkkk03 ~]$ sudo systemctl stop ntpd
[nhkkk03 ~]$ sudo systemctl disable ntpd2修改hadoop102的ntp.conf配置文件
[nhkkk01 ~]$ sudo vim /etc/ntp.conf修改内容如下
修改1授权192.168.188.0-192.168.188.255网段上的所有机器可以从这台机器上查询和同步时间
#restrict 192.168.188.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.188.0 mask 255.255.255.0 nomodify notrap修改2集群在局域网中不使用其他互联网上的时间
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburstc添加3当该节点丢失网络连接依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步
server 127.127.1.0
fudge 127.127.1.0 stratum 103修改kk01的/etc/sysconfig/ntpd 文件
[nhkkk01 ~]$ sudo vim /etc/sysconfig/ntpd增加内容如下让硬件时间与系统时间一起同步
SYNC_HWCLOCKyes4重新启动ntpd服务
[nhkkk01 ~]$ sudo systemctl start ntpd5设置ntpd服务开机启动
[nhkkk01 ~]$ sudo systemctl enable ntpd2其他机器配置必须root用户
1在其他机器配置10分钟与时间服务器同步一次
[nhkkk02 ~]$ sudo crontab -e[nhkkk03 ~]$ sudo crontab -e编写定时任务如下
*/10 * * * * /usr/sbin/ntpdate kk012修改任意机器时间
[nhkkk02 ~]$ sudo date -s 2017-9-11 11:11:113十分钟后查看机器是否与时间服务器同步
[nhkkk02 ~]$ sudo date说明测试的时候可以将10分钟调整为1分钟节省时间。
