北京网站ui设计公司,如何做网站授权网址,建设网站需要什么,企业网站推广技巧升级前确认
旧版本#xff1a;3.1.3 升级版本#xff1a;3.2.4 旧版本安装路径#xff1a;/ddhome/bin/hadoop/ 新版本安装路径#xff1a;/ddhome/bin/hadoop-3.2.4
安装新版本hadoop
解压安装
# 解压安装包到相应目录下
tar -zxvf /ddhome/tools/hadoop-3.2.4.tar.gz…升级前确认
旧版本3.1.3 升级版本3.2.4 旧版本安装路径/ddhome/bin/hadoop/ 新版本安装路径/ddhome/bin/hadoop-3.2.4
安装新版本hadoop
解压安装
# 解压安装包到相应目录下
tar -zxvf /ddhome/tools/hadoop-3.2.4.tar.gz -C /ddhome/bin/
# 复制3.1.3的配置文件到3.2.4中
cd /ddhome/bin/hadoop/etc/hadoop/
cp -r hdfs-site.xml core-site.xml mapred-site.xml yarn-site.xml workers /ddhome/bin/hadoop-3.2.4/etc/hadoop/
# 分发安装包到其余节点中备份NameNode元数据到3.2.4中
# 查看原NameNode中元数据的存储位置
# hdfs-site.xmlpropertynamedfs.namenode.name.dir/namevaluefile:/ddhome/bin/hadoop/tmp/hdfs/name/value/property
# 备份每台节点上执行
cp -r /ddhome/bin/hadoop/tmp /ddhome/bin/hadoop-3.2.4/增加升级滚动配置
在新版本呢3.2.4的配置文件中hdfs-site.xml添加如下配置信息 !-- 增加滚动升级 --propertynamedfs.namenode.duringRollingUpgrade.enable/namevaluetrue/value/property升级NameNode
在原3.1.3版本中的hadoop相关环境中执行
/ddhome/bin/hadoop/bin/hdfs dfsadmin -rollingUpgrade prepare
/ddhome/bin/hadoop/bin/hdfs dfsadmin -rollingUpgrade query
# 查看NameNode节点的状态
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2关闭standby节点中的NameNode
# 在standby节点中关闭NameNode进程
# 在原3.1.3版本中的hadoop相关环境中执行
/ddhome/bin/hadoop/bin/hdfs --daemon stop namenode
# 在新版本3.2.4中的hadoop相关环境中执行
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon start namenode -rollingUpgrade started -upgrade
# 执行完毕后可以通过jps查看进程是否启动关闭active节点中的NameNode
# 在standby节点中关闭NameNode进程
# 在原3.1.3版本中的hadoop相关环境中执行
/ddhome/bin/hadoop/bin/hdfs --daemon stop namenode
# 在新版本3.2.4中的hadoop相关环境中执行
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon start namenode -rollingUpgrade started
# 执行完毕后可以通过jps查看进程是否启动验证NameNode节点是否升级成功
# 先关闭active状态的NameNode
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop namenode
# 通过查看节点是否可以实现状态切换
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
# 如果可以切换则启动刚关闭NameNode进程升级DataNode
查看IPC_PORT
# 查看hdfs-site.xml中的rpc相关设置propertynamedfs.namenode.rpc-address.masters.nn1/namevalueddcva:9000/value/property执行DataNode升级命令
hdfs dfsadmin -shutdownDatanode DATANODE_HOST:IPC_PORT
hdfs dfsadmin -getDatanodeInfo DATANODE_HOST:IPC_PORT
# 备注此处的PORT每个版本不固定使用get命令逐个获取监听PORT的返回值有个返回值中携带版本号就是这个PORT重启每台的DataNode进行
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop datanode
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon start datanode完成升级滚动
升级命令
/ddhome/bin/hadoop-3.2.4/bin/hdfs dfsadmin -rollingUpgrade Finalize完成namenode、datanode的升级后需使用3.3.5的环境变量将journalnodezkfcresourcemanagernodemanagerjobhistory等全部重启一遍即可完成hadoop的全部滚动升级。
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon start journalnode
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon start zkfc/ddhome/bin/hadoop-3.2.4/bin/yarn --daemon start resourcemanager
/ddhome/bin/hadoop-3.2.4/bin/yarn --daemon start nodemanager关闭集群
# 关闭yarn
/ddhome/bin/hadoop-3.2.4/bin/yarn --daemon stop resourcemanager
/ddhome/bin/hadoop-3.2.4/bin/yarn --daemon stop nodemanager
# 关闭hdfs
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop datanode
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop namenode
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop zkfc
/ddhome/bin/hadoop-3.2.4/bin/hdfs --daemon stop journalnode恢复hadoop相关的配置文件路径
首先关闭集群移动|重命名|删除 原3.1.3hadoop的相关文件
cd /ddhome/bin
mv hadoop hadoop-3.1.3重命名新版本的hadoop文件夹
cd /ddhome/bin
mv hadoop-3.2.4 hadoop启动hadoop集群并验证
# 全部开启
start-all.sh
# 此时namenode可能都启动不了需单独启动
# 通过日志文件可以查看dava中执行
hdfs --daemon start namenode -rollingUpgrade started -upgrade
# 在ddvab中同步主节点数据
hdfs namenode -bootstrapStandby
# 在ddavb中启动NameNode
hdfs --daemon start namenode后面再启动或者关闭hadoop集群的时候可以通过start-all.sh和stop-all.sh进行启动与关闭
