建网站需要哪些条件,专业网站设计报价,建设部网站上标准合同,wordpress人工智能目录
0、准备一台新服务器
1、修改主机名
2、配置静态ip
3、配置xshell登录
4、关闭并禁用防火墙 5、分发hadoop和jdk文件 6、分发环境变量文件 7、source 环境变量 8、配置ssh
9、删除105节点的data、logs文件夹 10、单节点启动并关联到集群
11、验证新节点是否有效 0…目录
0、准备一台新服务器
1、修改主机名
2、配置静态ip
3、配置xshell登录
4、关闭并禁用防火墙 5、分发hadoop和jdk文件 6、分发环境变量文件 7、source 环境变量 8、配置ssh
9、删除105节点的data、logs文件夹 10、单节点启动并关联到集群
11、验证新节点是否有效 0、准备一台新服务器
本篇以虚拟机为例安装好CentOS7系统 1、修改主机名
vim /etc/hostname
2、配置静态ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33 配置之后进行重启
3、配置xshell登录 登录之后检查hostname和ip、网关是否正常 4、关闭并禁用防火墙
systemctl status firewalldsystemctl stop firewalldsystemctl disable firewalld 5、分发hadoop和jdk文件
scp -r module/* mingyuhadoop105:/opt/module/ 6、分发环境变量文件
sudo scp /etc/profile.d/my_env.sh roothadoop105:/etc/profile.d/7、source 环境变量
让环境变量生效
source /etc/profile.d/my_env.sh 8、配置ssh
hadoop102里面有namenode
hadoop103里面有ResourceManager
使得通信流畅
102进入home目录再进入.ssh目录
cdcd .ssh/ssh-copy-id hadoop105
输入yes和105的密码即可 9、删除105节点的data、logs文件夹
因为过去生成的clustr id不再适用
rm -rf data/ logs/10、单节点启动并关联到集群
hdfs --daemon start datanodeyarn --daemon start nodemanager ①在HDFS配置的白名单中放行Hadoop105
vim etc/hadoop/whitelist
②将105加入到workers名单
cd /opt/module/hadoop-3.1.3/etc/hadoopvim workersxsync workers 并分发workers
③分发白名单并在105上面也将105加入白名单
在102中刷新节点
hdfs dfsadmin -refreshNodes此时在hdfs中就存在hadoop105了 11、验证新节点是否有效
从hadoop105节点上传文件到HDFS系统
hadoop fs -put README.txt / 可以看到上传成功 由于优先上传本地节点在105中必有文件块当105节点上传较多导致文件不均衡下一篇进行解决
