海外商城网站建设,济南哪个网络公司建网站好,娃哈哈网站建设的目标,石家庄二手房最新急出售一、虚拟机配置网络
1、配置文件
进入“/etc/sysconfig/network-scripts”目录#xff0c;查看当前目录下的“ifcfg-ens33”文件 对“ens33”文件进行配置 2、重启网络
systemctl restart network
3、测试网络
Ping www.baidu.com 4、设置虚拟机主机名称 5、绑定主机名和…一、虚拟机配置网络
1、配置文件
进入“/etc/sysconfig/network-scripts”目录查看当前目录下的“ifcfg-ens33”文件 对“ens33”文件进行配置 2、重启网络
systemctl restart network
3、测试网络
Ping www.baidu.com 4、设置虚拟机主机名称 5、绑定主机名和IP地址
vi /etc/hosts 6、查看ssh状态 7、关闭防火墙
Hadoop 可以使用 Web 页面进行管理但需要关闭防火墙否则打不开 Web 页 面。同时不关闭防火墙也会造成 Hadoop 后台运行脚本出现莫名其妙的错误。关闭命令如下
systemctl stop firewalld
关闭防火墙后要查看防火墙的状态确认一下。 可以看到防火墙是开启的需要执行命令关闭 看到 inactive (dead)就表示防火墙已经关闭。不过这样设置后Linux 系 统如果重启防火墙仍然会重新启动。执行如下命令可以永久关闭防火墙。
systemctl disable firewalld
8、创建普通用户
在 Linux 系统中 root 用户为超级管理员具有全部权限使用 root 用户在 Linux 系统中进行操作很可能因为误操作而对 Linux 系统造成损害。正常的作 法是创建一个普通用户平时使用普通用户在系统进行操作当用户需要使用管 理员权限可以使用两种方法达到目的一种方法是使用 su 命令从普通用户 切换到 root 用户这需要知道 root 用户的密码。另一种方法是使用 sudo 命令。 用户的 sudo 可以执行的命令由 root 用户事先设置好。 在本教材中使用 root 用户来安装 Hadoop 的运行环境当 Hadoop 运行环境 都安装配置好后使用 hadoop 用户这只是一个用户名也可以使用其他的用 户名来运行 Hadoop实际工作中也是这样操作的。因此需要创建一个 hadoop 用户来使用 Hadoop。创建命令如下
useradd zxb
passwd xiaozhu 二、安装JAVA环境
1、检查虚拟机是否自带安装好的OpenJDK若有则需要进行删除。 并没有存在可能我的版本是最小安装的吧
2、在/opt目录下创建两个文件夹一个名为software用来存放资源一个名为module用来作为资源的安装路径。
cd /opt
mkdir software module 3、使用xftp工具上传下载好的jdk文件到/opt/software目录 4、解压到安装目录/opt/module
tar -zxf /opt/software/jdk-8u371-linux-x64.tar.gz -C /opt/module/ 5、配置JAVA环境
在 Linux 中设置环境变量的方法比较多较常见的有两种一是配置 /etc/profile 文件配置结果对整个系统有效系统所有用户都可以使用二是配置~/bashrc 文件配置结果仅对当前用户有效。这里使用第一种方法。
vi /etc/profile
在末尾添加一段内容来指定JAVA的安装目录
export JAVA_HOME/opt/module/jdk1.8.0_371export PATH$PATH:$JAVA_HOME/bin # 将 JAVA 安装目录加入 PATH 路径
6、刷新配置
source /etc/profile
7、检测是否已经安装成功 三、安装Hadoop
1、用xftp将安装包拉进 /opt/software目录中 2、将其解压到 /opt/module文件夹中。
tar -zxf /opt/software/hadoop-2.7.1.tar.gz -C /opt/module/ 3、配置Hadoop环境变量
vi /etc/profile配置环境
# HADOOP_HOME 指向 JAVA 安装目录
export HADOOP_HOME/opt/module/hadoop-2.7.1
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# 执行 source 使用设置生效
[rootmaster ~]# source /etc/profile
4、检验是否安装成功 出现上述 Hadoop 帮助信息就说明 Hadoop 已经安装好了。
5、修改/opt/module目录的所有者跟所有者组
上述安装完成的 Hadoop 软件只能让 root 用户使用要让 zxb 用户能够运行 Hadoop 软件需要将目录 /opt/module的所有者改为 zxb 用户 /opt/module目录的所有者已经改为 zxb了。
6、配置Hadoop的配置文件 进入 Hadoop 目录 [rootmaster ~]# cd /opt/module/hadoop-2.7.1/ 配置 hadoop-env.sh 文件目的是告诉 Hadoop 系统 JDK 的安装目录。 [rootmaster ~]# vi etc/hadoop/hadoop-env.sh 在文件中查找 export JAVA_HOME 这行将其改为如下所示内容。 export JAVA_HOME/opt/module/jdk1.8.0_371 这样就设置好 Hadoop 的本地模式. 在 vim 中按下 / 键然后输入你想要搜索的字段按下回车键。vim 将会跳转到第一个匹配的字段所在的位置。如果你想继续查找下一个匹配项可以按下 n 键。如果要向上查找则按下 Shift n 键。 7、测试Hadoop
1切换到zxb用户使用zxb用户来测试运行Hadoop软件 2创建输入数据存放目录 将输入数据存放在~/input 目录zxb用户主目录下的 input 目录中。 [zxbmaster ~]$ mkdir ~/input 3创建输入数据文件
创建数据文件 data.txt将要测试的数据内容输入到 data.txt 文件中。
[zxbmaster ~]$ vi ~/input/data.txt# 输入如下内容保存退出。
Hello World
Hello Hadoop
Hello Wangzaixiaozhu 4测试MapReduce
运行 WordCount 官方案例统计 data.txt 文件中单词的出现频度。这个案例可以用来统计年度十大热销产品、年度风云人物、年度最热名词等。命令如下
hadoop jar /opt/module/hadoop- 2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output 可以看出统计结果正确说明 Hadoop 本地模式运行正常。
四、克隆两个虚拟机作为子节点一个为slave1另一个为slave2 对克隆后的虚拟机进行修改IP、MAC信息以及主机名等信息。
1、Slave1、2信息修改 2、重启网咯 3、修改主机名以及绑定主机名和IP地址
hostnamectl set-hostname slave1 [rootslave1 ~]# vi /etc/hosts 在其中增加如下一行内容 192.168.229.101 slave1 4、查看ssh状态 5、关闭防火墙
systemctl stop firewalld
slave2重复同样的操作即可。
五、集群网络配置
1、分别修改主机配置文件“/etc/hosts”在命令终端输入如下命令
[rootmaster ~]# vi /etc/hosts
# 输入内容
192.168.229.100 master
192.168.229.101 slave1
192.168.229.102 slave2
三台虚拟机都要
配置完毕执行“reboot”命令重新启动系统。
六、配置ssh无密钥验证
1、每个节点安装和启动 SSH 协议
实现 SSH 登录需要 openssh 和 rsync 两个服务一般情况下默认已经安装可以通过下面命令查看结果
[rootmaster ~]# rpm -qa | grep openssh [rootmaster ~]# rpm -qa | grep rsync 并没有rsync那么需要安装
yum install rsync 2、切换到zxb用户每个节点额生成密钥树
#在 master 上生成密钥
[zxbmaster ~]$ ssh-keygen -t rsa -P
#slave1 生成密钥
[zxbslave1 ~]$ ssh-keygen -t rsa -P
#slave2 生成密钥
[zxbslave2 ~]$ ssh-keygen -t rsa -P 3、查看/home/hadoop/下是否有.ssh文件夹且.ssh文件下是否有两个刚生产的无密码密钥对。三台机都要 4、将 id_rsa.pub 追加到授权 key 文件中
#master
[zxbmaster .ssh]$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[zxbmaster .ssh]$ ls ~/.ssh/
#slave1
[zxbslave1 ~]$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[zxbslave1 .ssh]$ ls ~/.ssh/
#slave2
[zxbslave2 ~]$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[zxbslave2 .ssh]$ ls ~/.ssh/ 5、修改文件authorized_keys权限
通过 ll 命令查看可以看到修改后 authorized_keys 文件的权限为“rw-------”表示所有者可读写其他用户没有访问权限。如果该文件权限太大ssh 服务会拒绝工作出现无法通过密钥文件进行登录认证的情况
#master
[zxbmaster .ssh]$ chmod 600 ~/.ssh/authorized_keys
[zxbmaster .ssh]$ ll ~/.ssh/ #slave1
[zxbslave1 .ssh]$ chmod 600 ~/.ssh/authorized_keys
[zxbslave1 .ssh]$ ll ~/.ssh/ #slave2
[zxbslave2 .ssh]$ chmod 600 ~/.ssh/authorized_keys
[zxbslave2 .ssh]$ ll ~/.ssh/ 6、配置SSH服务
使用 root 用户登录修改 SSH 配置文件/etc/ssh/sshd_config的下列内容需要将该配置字段前面的#号删除启用公钥私钥配对认证方式。
#master
[zxbmaster .ssh]$ su - root
[rootmaster ~]# vi /etc/ssh/sshd_config
PubkeyAuthentication yes
#slave1
[zxbslave1 .ssh]$ su - root
[rootslave1 ~]# vi /etc/ssh/sshd_config
PubkeyAuthentication yes
#slave2
[zxbslave2 .ssh]$ su - root
[rootslave2 ~]# vi /etc/ssh/sshd_config
PubkeyAuthentication yes 7、重启SSH服务
设置完后需要重启 SSH 服务才能使配置生效。
systemctl restart sshd
8、切换到 zxb 用户验证 SSH 登录本机
在 zxb 用户下验证能否嵌套登录本机若可以不输入密码登录则本机通过密钥登 首次登录时会提示系统无法确认 host 主机的真实性只知道它的公钥指纹询问用户是否还想继续连接。需要输入“yes”表示继续登录。第二次再登录同一个主机则不会再 出现该提示可以直接进行登录。 读者需要关注是否在登录过程中是否需要输入密码不需要输入密码才表示通过密钥认证成功 配置成功。
9、交换 SSH 密钥
步骤一将 Master 节点的公钥 id_rsa.pub 复制到每个 Slave 点
[zxbmaster ~]$ scp ~/.ssh/id_rsa.pub zxbslave1:~/
[zxbmaster ~]$ scp ~/.ssh/id_rsa.pub zxbslave2:~/ 首次远程连接时系统会询问用户是否要继续连接。需要输入“yes”表示继续。因为目前尚未完成密钥认证的配置所以使用 scp 命令拷贝文件需要输入 slave1 节点 hadoop用户的密码 步骤二在每个 Slave 节点把 Master 节点复制的公钥复制到 authorized_keys 文件
[zxbslave1 ~]$ cat ~/id_rsa.pub ~/.ssh/authorized_keys
[zxbslave2 ~]$ cat ~/id_rsa.pub ~/.ssh/authorized_keys 步骤三在每个 Slave 节点删除 id_rsa.pub 文件
[zxbslave1 ~]$ rm -f ~/id_rsa.pub
[zxbslave2 ~]$ rm -f ~/id_rsa.pub 步骤四将每个 Slave 节点的公钥保存到 Master 1将 Slave1 节点的公钥复制到 Master [zxbslave1 ~]$ scp ~/.ssh/id_rsa.pub zxbmaster:~/ 2在 Master 节点把从 Slave 节点复制的公钥复制到 authorized_keys 文件 [zxbmaster ~]$ cat ~/id_rsa.pub ~/.ssh/authorized_keys 3在 Master 节点删除 id_rsa.pub 文件 [zxbmaster ~]$ rm -f ~/id_rsa.pub Slave21将 Slave2 节点的公钥复制到 Master [zxbslave2 ~]$ scp ~/.ssh/id_rsa.pub zxbmaster:~/ 2在 Master 节点把从 Slave2 节点复制的公钥复制到 authorized_keys 文件 [zxbmaster ~]$ cat ~/id_rsa.pub ~/.ssh/authorized_keys 3在 Master 节点删除 id_rsa.pub 文件 [zxbmaster ~]$ rm -f ~/id_rsa.pub 10、验证 SSH 无密码登录 步骤一查看 Master 节点 authorized_keys 文件 [zxbmaster .ssh]$ cat ~/.ssh/authorized_keys 可以看到 Master 节点 authorized_keys 文件中包括 master、slave1、slave2 三个节点 的公钥 步骤二查看 Slave 节点 authorized_keys 文件 [zxbslave1.ssh]$ cat ~/.ssh/authorized_keys [zxbslave2.ssh]$ cat ~/.ssh/authorized_keys 可以看到 Slave 节点 authorized_keys 文件中包括 Master、当前 Slave 两个节点的公 钥 步骤三验证 Master 到每个 Slave 节点无密码登录 zxb 用户登录 master 节点执行 SSH 命令登录 slave1 和 slave2 节点。可以观察到 不需要输入密码即可实现 SSH 登录 七、Hadoop全局配置
1、配置 hdfs-site.xml 文件参数
[rootmaster ~]# cd /opt/module/hadoop/etc/hadoop/
执行以下命令修改 hdfs-site.xml 配置文件。
[rootmaster hadoop]# vi hdfs-site.xml
#在文件中configuration和/configuration一对标签之间追加以下配置信息
configuration
property
namedfs.namenode.name.dir/name
valuefile:/opt/module/hadoop/dfs/name/value
/property
property
namedfs.datanode.data.dir/name
valuefile:/opt/module/hadoop/dfs/data/value
/property
property
namedfs.replication/name
value3/value
/property
/configuration 在相应的路径下创建 dfs/data 和 dfs/name 目录。这些目录分别用于存储Hadoop分布式文件系统HDFS的数据节点DataNode数据和名称节点NameNode的元数据。 2、配置 core-site.xml 文件参数
执行以下命令修改 core-site.xml 配置文件。
[rootmaster hadoop]# vi core-site.xml
#在文件中configuration和/configuration一对标签之间追加以下配置信息
configuration
property
namefs.defaultFS/name
valuehdfs://192.168.229.100:9000/value
/property
property
nameio.file.buffer.size/name
value131072/value
/property
property
namehadoop.tmp.dir/name
valuefile:/opt/module/hadoop/tmp/value
/property
/configuration 3、配置 mapred-site.xml
在“/opt/module/hadoop/etc/hadoop”目录下有一个 mapred-site.xml.template需要修改文件名称把它重命名为 mapred-site.xml然后把 mapred-site.xml 文件配置成 如下内容。 执行以下命令修改 mapred-site.xml 配置文件。
#确保在该路径下执行此命令
[rootmaster hadoop]# cd /opt/module/hadoop/etc/hadoop
[rootmaster hadoop]# cp mapred-site.xml.template mapred-site.xml
[rootmaster hadoop]# vi mapred-site.xml
#在文件中configuration和/configuration一对标签之间追加以下配置信息
configuration
property
namemapreduce.framework.name/name
valueyarn/value
/property
property
namemapreduce.jobhistory.address/name
valuemaster:10020/value
/property
property
namemapreduce.jobhistory.webapp.address/name
valuemaster:19888/value
/property
/configuration 4、配置 yarn-site.xml
# 执行以下命令修改 yarn-site.xml 配置文件。
[rootmaster hadoop]# vi yarn-site.xml
#在文件中configuration和/configuration一对标签之间追加以下配置信息
configuration
property
nameyarn.resourcemanager.address/name
valuemaster:8032/value
/property
property
nameyarn.resourcemanager.scheduler.address/name
valuemaster:8030/value
/property
property
nameyarn.resourcemanager.resource-tracker.address/name
valuemaster:8031/value
/property
property
nameyarn.resourcemanager.admin.address/name
valuemaster:8033/value
/property
property
nameyarn.resourcemanager.webapp.address/name
valuemaster:8088/value
/property
property
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
property
nameyarn.nodemanager.aux-services.mapreduce.shuffle.class/name
valueorg.apache.hadoop.mapred.ShuffleHandler/value
/property
/configuration
5、配置 masters 文件
# 执行以下命令修改 masters 配置文件。
# 加入以下配置信息
[rootmaster hadoop]# vi masters
#master 主机 IP 地址
192.168.229.100 6、配置 slaves 文件
需要把所有数据节点的主机名写入该文件每行一个默认为 localhost即把本机作为数据节点所以在伪分布式配置时就采用了这种默认的配使得节点既作为名称 节点也作为数据节点。在进行分布式配置时可以保留 localhost让 Master 节点同时充当名称节点和数据节点或者也可以删掉 localhost 这行让 Master 节点仅作为名称节点 使用。 本教材 Master 节点仅作为名称节点使用因此将 slaves 文件中原来的 localhost 删 除并添加 slave1、slave2 节点的 IP 地址。
# 执行以下命令修改 slaves 配置文件。
# 删除 localhost加入以下配置信息
[rootmaster hadoop]# vi slaves
#slave1 主机 IP 地址
192.168.229.101
#slave2 主机 IP 地址
192.168.229.102
7、将slave1、slave2原本的hadoop软件删除再从master节点复制过去
[zxbmaster ~]$ scp -r /opt/module/hadoop/ zxbslave1:/opt/module/
[zxbmaster ~]$ scp -r /opt/module/hadoop/ zxbslave2:/opt/module/ 修改环境变量
vi /etc/profile source /etc/profile
刷新配置即可。
八、Hadoop集群运行
1、配置Hadoop格式化
步骤一NameNode 格式化
将 NameNode 上的数据清零第一次启动 HDFS 时要进行格式化以后启动无需再格式 化否则会缺失 DataNode 进程。另外只要运行过 HDFSHadoop 的工作目录本书设置为/opt/module/hadoop/tmp就会有数据如果需要重新格式化则在格式化之前一定要先删除工作目录下的数据否则格式化时会出问题。
执行如下命令格式化 NameNode
[rootmaster ~]# su – hadoop
[zxbmaster ~]$ cd /opt/module/hadoop/
[zxbmaster hadoop]$ bin/hdfs namenode –format 步骤二启动 NameNode
执行如下命令启动 NameNode
[zxbmaster hadoop]$ hadoop-daemon.sh start namenode 2、查看Java进程
启动完成后可以使用 JPS 命令查看是否成功。JPS 命令是 Java 提供的一个显示当前 所有 Java 进程 pid 的命令 步骤一slave 启动 DataNode
执行如下命令启动 DataNode
[zxbslave2 hadoop]$ hadoop-daemon.sh start datanode [zxbslave1 hadoop]$ hadoop-daemon.sh start datanode 步骤二启动 SecondaryNameNode
执行如下命令启动 SecondaryNameNode 查看到有 NameNode 和 SecondaryNameNode 两个进程就表明 HDFS 启动成功。
步骤三查看 HDFS 数据存放位置
执行如下命令查看 Hadoop 工作目录
[zxbmaster hadoop]$ ll dfs/
3、查看HDFS报告 4、使用浏览器查看节点状态
在浏览器的地址栏输入http://master:50070进入页面可以查看NameNode和DataNode信息 在浏览器的地址栏输入 http://master:50090进入页面可以查看 SecondaryNameNode信息 可以使用 start-dfs.sh 命令启动 HDFS。这时需要配置 SSH 免密码登录否则在启动过程中系统将多次要求确认连接和输入 Hadoop 用户密码
[zxbmaster hadoop]$ stop-dfs.sh
[zxbmaster hadoop]$ start-dfs.sh
步骤一在 HDFS 文件系统中创建数据输入目录
确保 dfs 和 yarn 都启动成功
[zxbmaster hadoop]$ start-yarn.sh
[zxbmaster hadoop]$ jps 如果是第一次运行 MapReduce 程序需要先在 HDFS 文件系统中创建数据输入目录存放输入数据。这里指定/input 目录为输入数据的存放目录。执行如下命令在 HDFS 文件系统中创建/input 目录
[zxbmaster hadoop]$ hdfs dfs -mkdir /input
[zxbmaster hadoop]$ hdfs dfs -ls / 此处创建的/input 目录是在 HDFS 文件系统中只能用 HDFS 命令查看和操作。
步骤二将输入数据文件复制到 HDFS 的/input 目录中
测试用数据文件仍然是上一节所用的测试数据文件~/input/data.txt内容如下所示。 # 执行如下命令将输入数据文件复制到 HDFS 的/input 目录中
[zxbmaster hadoop]$ hdfs dfs -put ~/input/data.txt /input
# 确认文件已复制到 HDFS 的/input 目录
[zxbmaster hadoop]$ hdfs dfs -ls /input 步骤三运行 WordCount 案例计算数据文件中各单词的频度。 运行 MapReduce 命令需要指定数据输出目录该目录为 HDFS 文件系统中的目录会自 动生成。如果在执行 MapReduce 命令前该目录已经存在则执行 MapReduce 命令会出错。 例如 MapReduce 命令指定数据输出目录为/output/output 目录在 HDFS 文件系统中已经存 在则执行相应的 MapReduce 命令就会出错。所以如果不是第一次运行 MapReduce就要先 查看HDFS中的文件是否存在/output目录。如果已经存在/output目录就要先删除/output 目录再执行上述命令。 自动创建的/output 目录在 HDFS 文件系统中使用 HDFS 命令查看和操作。 [zxbmaster hadoop]$ hdfs dfs -mkdir /output
# 先执行如下命令查看 HDFS 中的文件
[zxbmaster hadoop]$ hdfs dfs -ls / 上述目录中/input 目录是输入数据存放的目录/output 目录是输出数据存放的目录。执行如下命令删除/output 目录。
[zxbmaster hadoop]$ hdfs dfs -rm -r -f /output 执行如下命令运行 WordCount 案例
[zxbmaster hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output
MapReduce 程序运行过程中的输出信息如下所示 由上述信息可知 MapReduce 程序提交了一个作业作业先进行 Map再进行 Reduce 操
作。
MapReduce 作业运行过程也可以在 YARN 集群网页中查看。在浏览器的地址栏输入
http://master:8088页面如图 所示可以看到 MapReduce 程序刚刚完成了一个作业 除了可以用 HDFS 命令查看HDFS文件系统中的内容也可使用网页查看 HDFS 文件系统。 在浏览器的地址栏输入 http://master:50070进入页面在 Utilities 菜单中选择 Browse the file system可以查看 HDFS 文件系统内容。如图 5-5 所示查看 HDFS 的根目录可以看到 HDFS 根目录中有三个目录input、output 和 tmp。 查看 output 目录如图 所示发现有两个文件。文件_SUCCESS 表示处理成功处 理的结果存放在 part-r-00000 文件中。在页面上不能直接查看文件内容需要下载到本地 系统才行。 可以使用 HDFS 命令直接查看 part-r-00000 文件内容结果如下所示
[zxbmaster hadoop]$ hdfs dfs -cat /output/part-r-00000 可以看出统计结果正确说明 Hadoop 运行正常。
5、停止Hadoop 步骤一停止 yarn [zxbmaster hadoop]$ stop-yarn.sh 步骤二停止 DataNode [zxbslave1 hadoop]$ hadoop-daemon.sh stop datanode [zxbslave2 hadoop]$ hadoop-daemon.sh stop datanode 步骤三停止 NameNode [zxbmaster hadoop]$ hadoop-daemon.sh stop namenode 步骤三停止 SecondaryNameNode [zxbmaster hadoop]$ hadoop-daemon.sh stop secondarynamenode 步骤四查看 JAVA 进程确认 HDFS 进程已全部关闭 [zxbmaster hadoop]$ jps 九、Mapreduce实战
使用Mapreduce统计‘基于EVE-NG的网络工程实践平台.txt’里面的 eve-ng 的个数
1、使用xftp将这个文件上传 ~/input目录下 [zxbmaster hadoop]$ hdfs dfs -ls / 将/output、/tmp先行删除。 删除之后上传文件 2、将输入数据文件复制到 HDFS 的/input 目录中
[zxbmaster hadoop]$ hdfs dfs -put ~/input/基于EVE-NG的网络工程实践平台.txt /input 3、执行如下命令运行案例
[zxbmaster hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/基于EVE-NG的网络工程实践平台.txt /output 4、浏览器访问下载
http://192.168.229.100:50070/Utilities-Browse the file system/wordcount/outputpart-r-00000.
统计之后的结果 十、Hive导入数据计算
1、使用xftp工具上次hive1.2.1版本并进行解压到/opt/module 2、配置环境变量 3、启动hive 4、创建数据库
create database labone;
use labone;
5、创建表
CREATE TABLE stugr (stuid string,class string,grade int
);
6、导入数据
source /opt/module/stugr.sql;
7、查询数据
select * from stugr;
8、导入后计算命令
SELECT stuid, stugr.class, avg_grade, grade- avg_grade diff
FROM stugr,(select class,AVG( grade)avg_grade
FROM stugr
GROUP BY class
)avg_stugr
WHERE stugr.class avg_stugr.class;
十一、Zookeeper安装
1、ZooKeeper 的安装包 zookeeper-3.4.8.tar.gz 已放置在 Linux 系统/opt/software目录下。 2、解压安装包到指定目标在 Master 节点执行如下命令。
[rootmaster ~]# tar -zxvf /opt/software/zookeeper-3.4.8.tar.gz -C
/opt/module
[rootmaster ~]# mv /opt/module/zookeeper-3.4.8
/opt/module/zookeeper 3、ZooKeeper 的配置选项
步骤一Master 节点配置
1在 ZooKeeper 的安装目录下创建 data 和 logs 文件夹。
[rootmaster ~]# cd /opt/module/zookeeper
[rootmaster zookeeper]# mkdir data mkdir logs2在每个节点写入该节点的标识编号每个节点编号不同master 节点写入 1
slave1 节点写入 2slave2 节点写入 3。 [rootmaster zookeeper]# echo 1 /opt/module/zookeeper/data/myid 3修改配置文件 zoo.cfg [rootmaster zookeeper]# cp /opt/module/zookeeper/conf/zoo_sample.cfg
/opt/module/zookeeper/conf/zoo.cfg
[rootmaster zookeeper]# vi /opt/module/zookeeper/conf/zoo.cfg
修改 dataDir 参数内容如下
dataDir/opt/module/zookeeper/data4在 zoo.cfg 文件末尾追加以下参数配置表示三个 ZooKeeper 节点的访问端口号。
server.1master:2888:3888
server.2slave1:2888:3888
server.3slave2:2888:38885修改 ZooKeeper 安装目录的归属用户为 zxb 用户。
[rootmaster zookeeper]# chown -R zxb:zxb /opt/module/zookeeper步骤二Slave 节点配置
1从 Master 节点复制 ZooKeeper 安装目录到两个 Slave 节点。
[rootmaster ~] # cd ~
[rootmaster ~] # scp -r /opt/module/zookeeper slave1:/opt/module
[rootmaster ~] # scp -r /opt/module/zookeeper slave2:/opt/module2在 slave1 节点上修改 zookeeper 目录的归属用户为 zxb 用户。
[rootslave1 ~] # chown -R zxb:zxb /opt/module/zookeeper
3在 slave1 节点上配置该节点的 myid 为 2。
[rootslave1 ~] # echo 2 /opt/module/zookeeper/data/myid4在 slave2 节点上修改 zookeeper 目录的归属用户为 zxb 用户。
[rootslave2 ~] # chown -R zxb:zxb /opt/module/zookeeper
5在 slave2 节点上配置该节点的 myid 为 3。
[rootslave2 ~] # echo 3 /opt/module/zookeeper/data/myid步骤三系统环境变量配置
在 master、slave1、slave2 三个节点增加环境变量配置。
# vi /etc/profile
# 在文件末尾追加
# set zookeeper environment
# ZooKeeper 安装目录
export ZOOKEEPER_HOME/opt/module/zookeeper
# ZooKeeper 可执行程序目录
export PATH$PATH:$ZOOKEEPER_HOME/bin重启环境变量
Source /etc/profile
4、启动zookeeper
启动 ZooKeeper 需要使用 Hadoop 用户进行操作。
1分别在 master、slave1、slave2 三个节点使用 zkServer.sh start 命令启动
ZooKeeper。 2三个节点都启动完成后再统一查看 ZooKeeper 运行状态。
分别在 master、slave1、slave2 三个节点使用 zkServer.sh status 命令查看
ZooKeeper 状态。可以看到三个节点的状态分别为 follower、leader、follower。三个节
点会包括一个 leader 和两个 follower每个节点地位均等leader 是根据 ZooKeeper 内
部算法进行选举每个节点的具体状态不固定 十二、Hbase安装
1、解压HBase安装包
[rootmaster ~]# tar -zxvf /opt/software/hbase-1.2.1-bin.tar.gz -C
/opt/module 2、重命名 HBase 安装文件夹
[rootpmaster]#mv hbase-1.2.1 hbase
3、在master节点添加环境变量
[rootmaster ~]# vi /etc/profile
# set hbase environment
export HBASE_HOME/opt/module/hbase
export PATH$HBASE_HOME/bin:$PATH 重启环境变量
source /etc/profile
4、在 master 节点进入配置文件目录
[rootmaster ~]# cd /opt/module/hbase/conf/#在文件中修改
[root master conf]# vi hbase-env.sh
#Java 安装位置
export JAVA_HOME/opt/module/jdk1.8.0_371
#值为 true 使用 HBase 自带的 ZooKeeper,值为 false 使用在 Hadoop 上装的 ZooKeeper
export HBASE_MANAGES_ZKfalse
#HBase 类路径
export HBASE_CLASSPATH/opt/module/hadoop/etc/hadoop/
5、在 master 节点配置 hbase-site.xml
[zxb master conf]# vi hbase-site.xml
property
namehbase.rootdir/name
valuehdfs://master:9000/hbase/value # 使用 9000 端口
descriptionThe directory shared by region servers./description
/property
property
namehbase.master.info.port/name
value60010/value
# 使用 master 节点 60010 端口
/property
property
namehbase.zookeeper.property.clientPort/name
value2181/value
# 使用 master 节点 2181 端口
descriptionProperty from ZooKeepers config zoo.cfg. The port at
which the clients will connect.
/description
/property
property
namezookeeper.session.timeout/name
value120000/value
# ZooKeeper 超时时间
/property
property
namehbase.zookeeper.quorum/name
valuemaster,slave1,slave2/value
# ZooKeeper 管理节点
/property
property
namehbase.tmp.dir/name
value/opt/module/hbase/tmp/value
# HBase 临时文件路径
/property
property
namehbase.cluster.distributed/name
valuetrue/value
# 使用分布式 HBase
/property
6、在 master 节点修改 regionservers 文件
#删除 localhost每一行写一个 slave 节点主机机器名
[zxb master conf]$ vi regionservers
slave1
slave2
7、在 master 节点创建 hbase.tmp.dir 目录
[zxb master ~]# mkdir /opt/module/hbase/tmp
8、将 master 上的 hbase 安装文件同步到 slave1 slave2
[zxb master ~]# scp -r /opt/module/hbase/ zxbslave1:/opt/module
[zxb master ~]# scp -r /opt/module/hbase/ zxbslave2:/opt/module
9、在所有节点修改 hbase 目录权限
master 节点修改权限 用zxb用户操作可以不用
[root master ~]# chown -R hadoop:hadoop /opt/module/hbase/
slave1 节点修改权限
[root slave1 ~]# chown -R hadoop:hadoop /opt/module/hbase/
slave2 节点修改权限
[root slave2 ~]# chown -R hadoop:hadoop /opt/module/hbase/
10、在所有节点配置环境和重启环境
vi /etc/profile
Source /etc/profile
11、启动hbase
先启动hadoopstart-all.sh然后启动zookeeperzkServer.sh start最后启动Hbasestart-hbase.sh 12、进入HBASE命令hbase shell 13、先创建一个表score_list且列族为info 导入数据将文件先导入到/opt/modul目录下 使用以下命令上传文件
[zxbmaster module]$ hdfs dfs -put /opt/module/score.csv /input导入hbase
[zxbmaster module]$ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator, -Dimporttsv.columnsHBASE_ROW_KEY,info:student_ID,info:Process_score,info:Final_Score,info:Total_Mark score_list hdfs://192.168.229.100:9000/input/score.csvHBase 客户端命令行中查看是否导入成功
hbase(main):003:0 scan score_list
