成立一个做网站的公司,批量关键词调排名软件,淘宝自己建的网站,深圳深网站建设服务目录 什么是Hadoop#xff1f;一、Hadoop依赖环境配置1.1 设置静态IP地址1.2 重启网络1.3 再克隆两台服务器1.4 修改主机名1.5 安装JDK1.6 配置环境变量1.7 关闭防火墙1.8 服务器之间互传资料1.9 做一个host印射1.10 免密传输 二、Hadoop安装部署2.1 解压hadoop的tar包2.2 切换… 目录 什么是Hadoop一、Hadoop依赖环境配置1.1 设置静态IP地址1.2 重启网络1.3 再克隆两台服务器1.4 修改主机名1.5 安装JDK1.6 配置环境变量1.7 关闭防火墙1.8 服务器之间互传资料1.9 做一个host印射1.10 免密传输 二、Hadoop安装部署2.1 解压hadoop的tar包2.2 切换到配置文件目录2.3 修改配置文件2.4 分发到其他节点2.5 初始化Hadoop集群2.6 强制使用root启动hadoop集群2.7 启动集群2.8 输入命令jps完成Hadoop的搭建 什么是Hadoop Hadoop是一个分布式系统基础架构, 是一个存储系统计算框架的软件框架。主要解决海量数据存储与计算的问题是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理用户可以在不了解分布式底层细节的情况下开发分布式程序用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
一、Hadoop依赖环境配置
1.1 设置静态IP地址
之所以设置静态IP是因为当我们连上不同的网络时ip总是会发生变化因为dhcp服务会为我们分配一个空闲的ip地址所以静态ip解决的问题就是为了把ip地址固定下来。
首先查看网关打开VMware编辑虚拟网络编辑器。 打开NAT设置。 截图保存该页面方便后面设置。 修改IP的配置文件
cd /etc/sysconfig/network-scripts/ //进入到如下目录
vim ifcfg-ens33 //编辑该文件进入以后修改为如下内容
修改内容如下
BOOTPROTOstatic
ONBOOTyes
IPADDR192.168.xx.110 //xx查看自己之前的截图内容
GATEWAY192.168.xx.2
NETMASK255.255.255.0
DNS1114.114.114.114
DNS28.8.8.81.2 重启网络
重启网络的命令service network restart
1.3 再克隆两台服务器 步骤如下图 再克隆一台
1.4 修改主机名
克隆完虚拟机后在MobaXterm中分布修改三台虚拟机的名称。分别输入如下命令
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop031.5 安装JDK
输入命令rpm tar.gz rpm -ivh XXX.rpm 1.6 配置环境变量
输入命令vim /etc/profile进入以后添加如下内容
export JAVA_HOME/opt/module/jdk1.8.0_212
export PATH$PATH:$JAVA_HOME/bin1.7 关闭防火墙
首先临时关闭防火墙输入命令systemctl stop firewalld 然后永久关闭防火墙 只能先临时关闭才能永久关闭输入命令systemctl disable firewalld 可以查看防火墙是否关闭systemctl status firewalld
1.8 服务器之间互传资料 scp -r /opt/module/xxx 192.168.70.120:/opt/module scp -r /opt/module/xxx hadoop03:/opt/module 1.9 做一个host印射
输入命令进入hosts映射文件vim /etc/hosts 修改内容如下三台虚拟机一样
1.10 免密传输
生成各自的私钥与公钥ssh-keygen
把生成的公钥给别人ssh-copy-id hadoop01ssh-copy-id hadoop02ssh-copy-id hadoop03三台虚拟机同时输入
二、Hadoop安装部署
2.1 解压hadoop的tar包
输入如下命令tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
2.2 切换到配置文件目录
输入如下命令cd /opt/module/hadoop-3.1.3/etc/hadoop
2.3 修改配置文件 第一个配置文件修改hadoop-env.sh修改hadoop的环境依赖JDKvim hadoop-env.sh添加jdk的环境变量。 修改内容如下 第二个配置文件输入命令vim core-site.xml在configuration/configuration中添加如下内容
!-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop01:9000/value
/property
!-- 指定hadoop数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.1.3/data/value
/property!-- 配置HDFS网页登录使用的静态用户为root --propertynamehadoop.http.staticuser.user/namevalueroot/value
/property!-- 配置该root(superUser)允许通过代理访问的主机节点 --propertynamehadoop.proxyuser.root.hosts/namevalue*/value
/property
!-- 配置该root(superUser)允许通过代理用户所属组 --propertynamehadoop.proxyuser.root.groups/namevalue*/value
/property
!-- 配置该root(superUser)允许通过代理的用户--propertynamehadoop.proxyuser.root.groups/namevalue*/value
/property第三个配置文件输入命令vim hdfs-site.xml在configuration/configuration中添加如下内容
!-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluehadoop01:50070/value/property!-- 2nn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop01:50090/value
/property
!--副本数的配置--propertynamedfs.replication/namevalue2/value
/property第四个配置文件输入命令vim yarn-site.xml在configuration/configuration中添加如下内容
!-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value
/property
!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop01/value
/property
!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value
/property
!-- yarn容器允许分配的最大最小内存 --propertynameyarn.scheduler.minimum-allocation-mb/namevalue512/value/propertypropertynameyarn.scheduler.maximum-allocation-mb/namevalue2048/value
/property
!-- yarn容器允许管理的物理内存大小 --propertynameyarn.nodemanager.resource.memory-mb/namevalue2048/value
/property
!-- 关闭yarn对物理内存和虚拟内存的限制检查 --propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/propertypropertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property第五个配置文件输入命令vim mapred-site.xml在configuration/configuration中添加如下内容 !-- 指定MapReduce程序运行在Yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property第六个配置文件输入命令vim workers添加如下内容
2.4 分发到其他节点 scp -r /opt/module/hadoop-3.1.3 hadoop02:/opt/module/ scp -r /opt/module/hadoop-3.1.3 hadoop03:/opt/module/ 2.5 初始化Hadoop集群
hadoop namenode -format
2.6 强制使用root启动hadoop集群
vim /etc/profile
2.7 启动集群
start-dfs.sh start-yarn.sh
2.8 输入命令jps完成Hadoop的搭建
