在哪个网站可以学做淘宝详情,个人博客网,中国住房和城乡建设部查询网站6,房产网站建设ppt文章目录 一、NameNode高可用的搭建1、免密配置2、三个节点都需要安装psmisc3、检查三个节点是否都安装jdk以及zk4、检查是否安装了hadoop集群5、修改hadoop-env.sh6、修改core-site.xml7、修改hdfs-site.xml8、检查workers 文件是否为三台服务9、分发给其他两个节点10、初始化… 文章目录 一、NameNode高可用的搭建1、免密配置2、三个节点都需要安装psmisc3、检查三个节点是否都安装jdk以及zk4、检查是否安装了hadoop集群5、修改hadoop-env.sh6、修改core-site.xml7、修改hdfs-site.xml8、检查workers 文件是否为三台服务9、分发给其他两个节点10、初始化ZKFC在zk中的Znode信息11、在三台服务器上启动journalnode12、对集群进行namenode的格式化13、启动hdfs14、启动第二个namenode15、第二次只需要正常启动zk和hadoop即可 二、resourcemanager高可用搭建1、检查mapred-site.xml2、修改yarn-site.xml3、分发4、启动yarn5、查看是否配置成功6、遇到的问题 一、NameNode高可用的搭建
1、免密配置
2、三个节点都需要安装psmisc
yum install -y psmisc3、检查三个节点是否都安装jdk以及zk
4、检查是否安装了hadoop集群
如果以前安装过了则需要清空数据
1.先停止集群
stop-all.sh2.清理集群中的data数据
rm -rf /opt/installs/hadoop/tmp/ /opt/installs/hadoop/logs/5、修改hadoop-env.sh
export JAVA_HOME/opt/installs/jdk/ export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERrootexport HDFS_JOURNALNODE_USERroot
export HDFS_ZKFC_USERroot6、修改core-site.xml
!--覆盖--
configuration!--hdfs入口设置虚拟地址具体地址后面配置--propertynamefs.defaultFS/namevaluehdfs://hdfs-cluster/value/property!--hdfs集群的文件位置--propertynamehadoop.tmp.dir/namevalue/opt/installs/hadoop/tmp/value/property!--hdfs要访问zookeeper集群--propertynameha.zookeeper.quorum/namevaluenode01:2181,node02:2181,node03:2181/value/property
/configuration7、修改hdfs-site.xml
!--覆盖--
configuration!-- 副本数 --propertynamedfs.replication/namevalue3/value/property!-- 定义dhfs入口的命名服务 --propertynamedfs.nameservices/namevaluehdfs-cluster/value/property!-- 定义hdfs入口的命名服务下虚拟ip--propertynamedfs.ha.namenodes.hdfs-cluster/namevaluenn1,nn2/value/property!-- 虚拟ip地址1 RPC入口 --propertynamedfs.namenode.rpc-address.hdfs-cluster.nn1/namevaluenode01:9820/value/property!-- 虚拟ip地址1 HTTP入口 --propertynamedfs.namenode.http-address.hdfs-cluster.nn1/namevaluenode01:9870/value/property!-- 虚拟ip地址2 PRC入口 --propertynamedfs.namenode.rpc-address.hdfs-cluster.nn2/namevaluenode02:9820/value/property!-- 虚拟ip地址1 HTTP入口 --propertynamedfs.namenode.http-address.hdfs-cluster.nn2/namevaluenode02:9870/value/property!-- 定义QJN在linux中保存文件磁盘目录 --property!-- Journal Edit Files 的存储目录:() --namedfs.journalnode.edits.dir/namevalue/opt/installs/journalnode/data//value/propertypropertynamedfs.namenode.shared.edits.dir/namevalueqjournal://node01:8485;node02:8485;node03:8485/hdfs-cluster/value/property!-- 是否开启故障切换 --propertynamedfs.ha.automatic-failover.enabled/namevaluetrue/value/property!-- 基于zookeeper的故障切换的代码类 --propertynamedfs.client.failover.proxy.provider.hdfs-cluster/namevalueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value/property!-- 远程杀死namenode方式(防止namenode假死导致双主出现) --propertynamedfs.ha.fencing.methods/namevaluesshfence/value/property!-- 指定私钥的文件目录使用免密登录杀死NN进程 --propertynamedfs.ha.fencing.ssh.private-key-files/namevalue/root/.ssh/id_rsa/value/property!-- 可以在hdfs上点击结果查看--propertynamedfs.webhdfs.enabled/namevaluetrue/value/property
/configuration8、检查workers 文件是否为三台服务
9、分发给其他两个节点
分发脚本编写地址脚本编写链接
cd /opt/installs/hadoop/etc/hadoopxsync.sh hadoop-env.sh core-site.xml hdfs-site.xml10、初始化ZKFC在zk中的Znode信息
1.先启动zk
zk.sh start2.在主节点进行即可
hdfs zkfc -formatZK11、在三台服务器上启动journalnode
hadoop-daemon.sh start journalnode12、对集群进行namenode的格式化
hdfs namenode -format13、启动hdfs
14、启动第二个namenode
1.第一次需要运行如下命令以后不需要
hdfs namenode -bootstrapStandby2.接着启动第二个namenode:
hadoop-daemon.sh start namenode15、第二次只需要正常启动zk和hadoop即可
需要先启动zk再启动hadoop namenode的web界面node01:9870
二、resourcemanager高可用搭建
1、检查mapred-site.xml
里面只有yarn配置和historyServer的配置不需要修改
2、修改yarn-site.xml
以前配置的yarn以及日志服务的配置不动添加ha的相关配置即可:
configuration!--配置resourcemanager的HA--propertynameyarn.resourcemanager.ha.enabled/namevaluetrue/value/property!-- RM 集群标识 --propertynameyarn.resourcemanager.cluster-id/namevalueyarn-cluster/value/property !-- RM 的逻辑 ID 列表 --propertynameyarn.resourcemanager.ha.rm-ids/namevaluerm1,rm2/value/property !-- RM1 的主机地址 --propertynameyarn.resourcemanager.hostname.rm1/namevaluenode01/value/property!-- RM1 的主机web管理界面地址 -- propertynameyarn.resourcemanager.webapp.address.rm1/namevaluenode01:8088/value/property!-- RM2 的主机地址 --propertynameyarn.resourcemanager.hostname.rm2/namevaluenode02/value/property !-- RM2 的主机web管理界面地址 -- propertynameyarn.resourcemanager.webapp.address.rm2/namevaluenode02:8088/value/property!-- ZooKeeper 集群的地址 -- propertynameyarn.resourcemanager.zk-address/namevaluenode01:2181,node02:2181,node03:2181/value/property !-- 启用自动恢复 -- propertynameyarn.resourcemanager.recovery.enabled/namevaluetrue/value/property !-- 用于yarn故障转移持久化zk的类 --propertynameyarn.resourcemanager.store.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore/value
/property !-- 关闭虚拟内存检查 --
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property/configuration3、分发
cd /opt/installs/hadoop/etc/hadoop/# 只需要同步一个因为另一个根本没有修改。
xsync.sh yarn-site.xml4、启动yarn
5、查看是否配置成功
yarn rmadmin -getAllServiceStateresourcemanager的web界面node018088
6、遇到的问题 假如你在启动过程中发现resourcemanager有两个但是都是standby有可能是版本兼容问题 hadoop3.1.6 需要兼容 zookeeper 3.4.10 hadoop3.3.1 需要兼容 zookeeper 3.6.4 否则就会有问题。 namenode 高可用没问题resourcemanager的高可用有问题。
