沈阳市建设局网站,常平营销网站建设,德州手机网站建设服务,wordpress disqus1.zookeep配置 1.1 安装4台虚拟机 #xff08;1#xff09;按照如下设置准备四台虚拟机#xff0c;其中三台作为zookeeper#xff0c;配置每台机器相应的IP#xff0c;hostname#xff0c;下载vim#xff0c;ntpdate配置定时器定时更新时间#xff0c;psmisc#xff…1.zookeep配置 1.1 安装4台虚拟机 1按照如下设置准备四台虚拟机其中三台作为zookeeper配置每台机器相应的IPhostname下载vimntpdate配置定时器定时更新时间psmiscpsmisc用于管理系统上运行进程包括ps、kill、fuser、pstree等命令它能够更方便地使用Linux操作系统 192.168.142.136 node1 zookeeper 192.168.142.137 node2 zookeeper 192.168.142.138 node3 zookeeper 192.168.142.139 node4 2四台机器vim /etc/hosts追加4台主机IP和hostname 3配置4台机器之间的免密通信例如在node1上拷贝公钥至node2node3node4上 1.2 在四台机器上安装jdk并配置环境变量 环境变量文件可通过scp命令复制到其他三台机器 1.3 修改配置文件 1配置sysctl.conf文件vim /etc/sysctl.conf文件末尾追加以下内容 vm.swappiness0 vm.overcommit_memory1 vm.overcommit_ratio80 修改完成后通过scp命令拷贝至其他3台机器 scp /etc/sysctl.conf rootnode2:/etc/ scp /etc/sysctl.conf rootnode3:/etc/ scp /etc/sysctl.conf rootnode4:/etc/ 2编辑文件vim /etc/security/limits.conf 添加以下内容 hadoop soft nofile 16384 hadoop hard nofile 65536 hadoop soft nproc 16384 hadoop hard nproc 65536 修改完成后通过scp命令拷贝至其他3台机器 1.4 安装zookeeper 1解压至/opt/soft目录下并改名为zk345 2cd /opt/soft/zk345/conf切换目录 1拷贝目录下文件cp zoo_sample.cfg zoo.cfg 2编辑zoo.cfg文件vim ./zoo.cfg dataDir/opt/soft/zk345/tmp/zookeeper dataLogDir/opt/soft/zk345/tmp/logs server.0192.168.142.136:2287:3387 server.1192.168.142.137:2287:3387 server.2192.168.142.138:2287:3387 server.AB:C:D。 A是一个数字表示这个是第几号服务器 B是这个服务器的IP地址 C是这个服务器与集群中的Leader服务器交换信息的端口 D是万一集群中的Leader服务器挂了需要一个端口来重新进行选举选出一个新的Leader而这个端口就是用来执行选举时服务器相互通信的端口。 集群模式下配置一个文件myid这个文件在dataDir目录下这个文件里面有一个数据就是A的值Zookeeper启动时读取此文件拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。 3创建目录mkdir -p /opt/soft/zk345/tmp/zookeeper 在该目录下创建myid文件文件内容为0 4配置环境变量vim /etc/profile #zk export ZOOKEEPER_HOME/opt/soft/zk345 export PATH$PATH:$ZOOKEEPER_HOME/bin 配置完成后拷贝到其他三台机器上并source更新 5配置完成后将zk345文件复制到node2和node3上 scp -r /opt/soft/zk345/ rootnode2:/opt/soft/ scp -r /opt/soft/zk345/ rootnode3:/opt/soft/ 复制完成后将node2和node3上的myid内容分别改为1和2 6配置完成后在node1,2,3上启动zkServerzkServer.sh start 注如果出现错误在zk345目录下查看zookeeper.out文件内输出的错误信息若发现不能自动创建logs文件夹手动创建文件夹mkdir -p /opt/soft/zk345/tmp/logs 7完成启动zookeeper服务并查看状态zkServer.sh status 2.配置hadoop 安装hadoop配置6个文件 确保三台zk集群正常启动 zkServer.sh start/stop/status 启动journalnode 四台机器上执行hdfs –daemon start journalnode 初始化node1node2 hadoop namenode -format会生成data目录 同步nn1和nn2拷贝data文件夹至node2机器scp -r ./data/ rootnode2:/opt/soft/hadoop313/ node1初始化hdfs zkfc -formatZK 启动hadoop
