怎么自己做卡盟网站,做网站网页需要什么软件,会员网站模板,网络推广渠道图24#xff1a;解压完成 图25#xff1a;确认解压是否成功
在终端输入cd jdk1.8.0_211/进入该文件夹确认解压是否成功#xff0c;如果该文件夹为空则前面某一步有问题导致解压不成功#xff0c;反之则为解压成功。 6、配置环境变量
图26#xff1a;进入环境变量配置
…图24解压完成 图25确认解压是否成功
在终端输入cd jdk1.8.0_211/进入该文件夹确认解压是否成功如果该文件夹为空则前面某一步有问题导致解压不成功反之则为解压成功。 6、配置环境变量
图26进入环境变量配置
在终端输入cd …返回上一级文件夹再输入vim ~/.bashrc进入环境变量配置。 图27进入环境变量
进入环境变量此时补课编辑只可查看。需要按“i”进入 insert 模式。 图28配置环境变量 图29按 ESC 保存然后 shiftwq
按 ESC 保存然后 shiftwq退出环境配置。 图30确认jdk安装成功
在终端输入source ~/.bashrc激活刚刚配置的环境变量接着在终端输入java -version查看java版本确认jdk安装成功。
五、安装单机 Hadoop
1、确认文件及文件夹
图31确认文件及文件夹
在终端进入Downloads文件夹确认hadoop的安装包在该文件夹内。
2、解压安装包到/usr/local下
图32解压安装包到/usr/local
在终端输入sudo tar -zxvf hadoop-3.1.3.tar.gz -C /uer/local解压指令对hadoop文件解压。-zxvf z代表gzip的压缩包x代表解压v代表显示过程信息f代表后面接的是文件 图33:解压完成
Hadoop安装包解压完成其中hadoop-3.1.3/是解压后的文件夹的名称。
3、修改目录名及目录权限
图34修改目录名及目录权限
在终端输入cd /uer/local进入local文件夹通过ll查看改文件夹内的文件。为了方便通过输入sudo mv ./hadoop-3.1.3/ ./hadoop将文件夹hadoop-3.1.3的名字改成了hadoop。通过输入sudo chown -R hadoop ./hadoop修改权限。
4、查看版本信息
图35查看版本信息
在终端输入cd hadoop/进入hadoop文件夹再输入./bin/hadoop version查看版本信息。
5、测试
图36复制文件到新建文件夹input内
在终端输入mkdir input新建文件夹input接着输入cp ./etc/hadoop/.xml ./input其中.xml代表所有的.xml文件此行目的是将uer/local/hadoop/etc/hadoop下的所有的.xml文件复制到input文件夹内。 通过cd input进入input文件夹我们确认了复制成功。 图37测试
在终端输入./bin/hadoop jar /usr/loacl/hadoop/share/hadoop/mapreduce/ hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output dfs[a-z.]测试指令进行测试。 图38测试完成
测试完成在终端输入cat ./output/*查看输出数据。
六、Hadoop 伪分布式安装
1、修改配置文件在etc/hadoop下
图39查看要修改的配置文件
通过终端cd etc/hadoop进入etc/hadoop查看要修改的配置文件。通过查看得知需要配置core-site.xml和hdfs-site.xml两个文件夹。 在终端输入vim core-site.xml使用vim编辑器配置。
图40进入core-site.xml 图41core-site.xml配置完成 2、配置
图42配置hdfs-site.xml
在终端输入vim hdfs-site.xml使用vim编辑器配置。 图43进入hdfs-site.xml 图44hdfs-site.xml配置完成
3、初始化
图45初始化
在终端输入cd /usr/local/hadoop回到/usr/local/hadoop文件夹再输入bin/hdfs namenode -format进行初始化。 图46初始化成功
4、启动 hdfs
图47启动hdfs
在终端输入./sbin/start-dfs.sh启动hsfd再输入jsp查看java进程。
5、查看 Hadoop用 Browser
图48用 Browser查看 Hadoop
注意这里要用Ubuntu自带的浏览器地址为http://localhost:9870
6、创建Hadoop用户的用户目录及input目录
图49创建 Hadoop 用户的用户目录及 input 目录
在终端输入./bin/hdfs dfs -mkdir -p /usr/hadoop创建Hadoop用户的用户目录,在终端输入./bin/hdfs dfs -mkdir input创建Hadoop用户的input目录。(其中./bin/hdfs dfs是指令前缀后面是正常的Ubuntu指令。)
7、将本地配置文件夹上传到分布式文件系统
图50将本地配置文件夹上传到分布式文件系统
在终端输入bin/hdfs dfs -put ./etc/hadoop/.xml input将本地配置文件夹上传到分布式文件系统.(bin/hdfs dfs是指令前缀,-put是命令./etc/hadoop/.xml是源input是目标。
8、测试demo
图51测试demo
在终端输入./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/ hadoop-mapreduce-examples-3.1.3.jar grep input output dfs[a-z.]测试指令进行测试。 注意这里和单机hadoop测试不一样的地方是这里后面是input output单机时是./input ./output。 图52测试完成
9、查看结果
图53查看测试结果
在终端输入.bin/hdfs dfs -cat output/*查看测试结果。
10、关闭 hdfs
图54删除output目录
在终端输入.bin/hdfs dfs -rm -r output删除output目录。每次执行都要吧上一次的output删除测试过应该是底层写死的无法修改 图55关闭hdfs
在终端输入./sbin/stop-dfs.sh停止执行hdfs。
七、HDFS常用命令 1功能显示 指定的文件的详细信息。 hadoop fs -1s 。 2功能1s 命令的递归版本。 hadoop fs -1s -R 。 3功能将 指定的文件的内容输出到标准输出 (stdout )。 hadoop fs -cat 。 4功能将 指定的文件所属的组改为group使用-R对 指定的文件夹内的文件进行递归操作。这个命令只适用于超级用户。 hadoop fs -chgrp [-RJgroup 。 5功能改变 指定的文件所有者-R 用于递归改交文件夹内的文件所有者。这个命令只适用于超级用户。 hadoop fs-chown [-R] [owner][ :[group]] 。 6功能将 指定的文件的权限更改为。这个命令只适用于超级用户和文件所有者。 hadoop fs -chmod [- R] 。 7功能将 指定的文件最后 1KB 的内容输出到标准输出 (stdout)上一f选项用于持续检测新添加到文件中的内容。 hadoop fs -tail [-f] 。 8功能以指定的格式返回 指定的文件的相关信息。当不指定format 的时候返回文件 的创建日期。 hadoop fs -stat [format] 。 9功能创建一个 指定的空文件。 hadoop fs -touchz 。 10功能创建指定的一个或多个文件夹-p选项用于递归创建子文件夹。 hadoop fs -mkdir [-p] 。 11功能将本地源文件复制到路径指定的文件或文件夹中。 hadoop fs -copy FromLocal 。 12功能将日标文件复制到本地文件或文件夾中可用-ignorearc 选项复制CRC 校验失败的文件使用-crc选项复制文件以及 CRC信息。 hadoop ts -copyToLocal [-ignorecrc][-crc] 。 13功能将文件从源路径复制到日标路径。 hadoop fs -cp 。 14功能显示 指定的文件或文件夾中所有文件的大小。 hadoop fs -du 。 15功能清空回收站. hadoop fs -expunge。 16功能复制指定的文件到本地文件系统-指定的文件或文件夹可用-ignorecrc 选项复制 CRC 校验失败的文件使用-crc 选项复制文件以及 CRC信息。 hadoop fs-get [ignorecrc] [-crc] 。 17功能对指定的源目录中的所有文件进行合并写入指定的本地文件。-nl 是可选的用于指定在每个文件结尾添加一个换行符。 hadoop fs -getmerge [-nl] 。 18功能以本地文件系统中复制1ocalsrc指定的单个或多个源文件到指定的目标文件系统中也支持从标准输人(stdin 中读取输人并写人目标文件系统。 hadoop fs-put 。 19功能与put 命令功能相同但是文件上传结束后会从本地文件系统中删除指定的文件。 hadoop fs-moveFromLocal 。 20功能将文件从源路径移动到目标路径 hadoop fs -mv 。 21功能删除 指定的文件只删除非室日录和文件。 hardoop 1s -rm 。 22功能除 指定的文什实及其下的所有文件-r选项表示删除子目录。 hadop fs -rm -r 。 23功能改变 指定的文件的副本系数-R 选项用于递归政变目录下所有文件的副本系数。 hadoop fs-setrep [-R] 。 24功能检查 指定的文什或文件夾的相关信息。不同选项的作用如下。 hadoop fs -test -[ezd] 。 ①-e检查文件是否存在如果存在则返回0否则返回 1。 ②-z检查文件是否是 0字节如果是则返回 0否则返回1。 ③ -d如果路径是个日录则返回1否则返回 0。 25功能将 指定的文什输出为文木格式文件的格式世允许是zip和TextRecordinputStream 等 hadoop ts -text 。 26查看帮助 hdfs dfs -help 27查看当前目录信息 hdfs dfs -ls / 28上传文件 hdfs dfs -put /本地路径 /hdfs路径 29剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt 30下载文件到本地 hdfs dfs -get /hdfs路径 /本地路径 31合并下载 hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件 32创建文件夹 hdfs dfs -mkdir /hello 33创建多级文件夹 hdfs dfs -mkdir -p /hello/world 34移动hdfs文件 hdfs dfs -mv /hdfs路径 /hdfs路径 35复制hdfs文件 hdfs dfs -cp /hdfs路径 /hdfs路径 36删除hdfs文件 hdfs dfs -rm /aa.txt 37删除hdfs文件夹 hdfs dfs -rm -r /hello 38查看hdfs中的文件 hdfs dfs -cat /文件 hdfs dfs -tail -f /文件 39查看文件夹中有多少个文件 hdfs dfs -count /文件夹 40查看hdfs的总空间 hdfs dfs -df / hdfs dfs -df -h / 41修改副本数 hdfs dfs -setrep 1 /a.txt 八、HDFS实验之通过JAVA-API访问HDFS
1、Hadoop用户下进入Ubuntu
图56Hadoop用户下进入Ubuntu
2、把eclipse拖到/home/hadoop/Downloads下
图57把eclipse拖到/home/hadoop/Downloads下
3、检查一下是不是整个Ubuntu都在hadoop用户下是的话解压到/uer/local
图58确认是在hadoop用户下
在终端输入whoami当出现hadoop表示现在是在hadoop用户下进行的操作确保后面的操作能正常进行。 进入Downloads查询当前文件夹所有文件看eclipse安装包是否存在。 图59解压eclipse安装包
在终端输入sudo tar -zxvf ./eclipse-4.7.0-linux.tar.gz -C /usr/local解压eclipse安装包。 图60解压eclipse安装包完成
4、cd到解压后的文件夹/usr/local/eclipse启动eclipse启动指令./eclipse
图61检查解压情况
在终端cd到文件夹/usr/local内查看是否有eclipse文件夹如果有则解压成功。 图62启动eclipse
在终端输入启动指令./eclipse启动eclipse。
5、默认workspace这里必须是Hadoop用户下如果是个人用户名下就代表前面错误你不是在Hadoop下完成的操作会显示没有java路径
图63默认workspace
默认workspace点击launch进入下一步。
6、启动成功
图64启动eclipse成功
7、新建工程后选择java project然后next
图65新建工程
8、输入工程名称其他默认即可然后点击next
图66输入新建的工程名称
9、点击libraries添加jar包添加完成后点击finish
图67添加jar包 图68添加jar包
选择add external jars进行添加jar包。 图69添加jar包 网上学习资料一大堆但如果学到的知识不成体系遇到问题时只是浅尝辄止不再深入研究那么很难做到真正的技术提升。
需要这份系统化资料的朋友可以戳这里获取
一个人可以走的很快但一群人才能走的更远不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人都欢迎加入我们的的圈子技术交流、学习资源、职场吐槽、大厂内推、面试辅导让我们一起学习成长 图67添加jar包 图68添加jar包
选择add external jars进行添加jar包。 图69添加jar包
[外链图片转存中…(img-AJ871EC7-1714676502656)] [外链图片转存中…(img-aWSAHmfS-1714676502657)]
网上学习资料一大堆但如果学到的知识不成体系遇到问题时只是浅尝辄止不再深入研究那么很难做到真正的技术提升。
需要这份系统化资料的朋友可以戳这里获取
一个人可以走的很快但一群人才能走的更远不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人都欢迎加入我们的的圈子技术交流、学习资源、职场吐槽、大厂内推、面试辅导让我们一起学习成长
