网站提升排名,想自己弄个app商城,一起做网站17怎么下单,唐山建设网站建站#xff08;1#xff09;下载Hadoop安装包并上传
下载Hadoop安装包到本地#xff0c;并导入到Linux服务器的/opt/software路径下 #xff08;2#xff09;解压安装包
解压安装文件并放到/opt/module下面
[roothadoop100 ~]$ cd /opt/software
[roothadoop100 software…1下载Hadoop安装包并上传
下载Hadoop安装包到本地并导入到Linux服务器的/opt/software路径下 2解压安装包
解压安装文件并放到/opt/module下面
[roothadoop100 ~]$ cd /opt/software
[roothadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 3将Hadoop添加到环境变量 [roothadoop100 ~]$ vim /etc/profile.d/hadoop_env.sh
在hadoop_env.sh文件末尾添加如下内容 #HADOOP_HOME export HADOOP_HOME/opt/module/hadoop-3.1.3 export PATH$PATH:$HADOOP_HOME/bin export PATH$PATH:$HADOOP_HOME/sbin 保存并退出 :wq
4让修改文件生效 [roothadoop100 ~]$ source /etc/profile
如果命令还不能让hadoop生效则重启虚拟机
[roothadoop100 ~]$ sudo reboot
5测试是否安装成功 [roothadoop100 ~]$ hadoop version 6查看Hadoop目录结构 以下是Hadoop文件中重要的目录 - bin 目录存放对 Hadoop 相关服务hdfsyarnmapred进行操作的脚本 - etc 目录Hadoop 的配置文件目录存放 Hadoop 的配置文件 - lib 目录存放 Hadoop 的本地库对数据进行压缩解压缩功能 - sbin 目录存放启动或停止 Hadoop 相关服务的脚本 - share 目录存放 Hadoop 的依赖 jar 包、文档、和官方案例 7扩展本地测试官方案例WordCount
WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。
1创建测试文件 [roothadoop100 ~]$ cd /opt/module/hadoop-3.1.3[roothadoop100 hadoop-3.1.3]$ mkdir wcinput[roothadoop100 hadoop-3.1.3]$ cd wcinput[roothadoop100 wcinput]$ vim word.txt
在文件中输入以下内容 hadoop yarn hadoop mapreduce test test 保存并退出 :wq 2执行程序
回到Hadoop目录/opt/module/hadoop-3.1.3执行程序 [roothadoop100 wcinput]$ cd ../[roothadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput 命令结构 hadoop jar Jar包的路径 Jar包的主类 传递给主类的参数地址 由主类执行后输出的结果地址 3查看结果
[roothadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000
