网站建设常州,网站简介 title,网站前台功能,网络营销推广方法哪家正规文章目录 1 进程启停管理2 文件系统操作命令2.1 HDFS文件系统基本信息2.2 介绍2.3 创建文件夹2.4 查看指定文件夹下的内容2.5 上传文件到HDFS2.6 查看HDFS文件内容2.7 下载HDFS文件2.8 HDFS数据删除操作 3 HDFS客户端-jetbrians产品插件3.1 Big Data Tools 安装3.2 配置windows… 文章目录 1 进程启停管理2 文件系统操作命令2.1 HDFS文件系统基本信息2.2 介绍2.3 创建文件夹2.4 查看指定文件夹下的内容2.5 上传文件到HDFS2.6 查看HDFS文件内容2.7 下载HDFS文件2.8 HDFS数据删除操作 3 HDFS客户端-jetbrians产品插件3.1 Big Data Tools 安装3.2 配置windows3.3 配置Big Data Tools 结语 以下命令执行默认配置了hadoop的环境变量且使用新命令。 1 进程启停管理 一键启停脚本 # 开启命令
start-dfs.sh
# 停止命令
stop-dfs.sh独立进程启停 hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)2 文件系统操作命令
2.1 HDFS文件系统基本信息
HDFS作为分布式存储的文件系统有其对数据的路径表达式。如果熟悉Linux文件系统可以对比学习。
HDFS同Linux系统一样均是以/作为根目录的组织形式 如何区分呢
•Linuxfile:/// 为linux的文件协议头
•HDFShdfs://为hdfs协议头
如上路径
•Linuxfile:///usr/local/hello.txt
•HDFShdfs://node1:8020/usr/local/hello.txt
协议头file:/// 或 hdfs://node1:8020/可以省略
•需要提供Linux路径的参数会自动识别为file://
•需要提供HDFS路径的参数会自动识别为hdfs://
除非你明确需要写或不写会有BUG否则一般不用写协议头
2.2 介绍
关于HDFS文件系统的操作命令Hadoop提供了2套命令体系
•hadoop命令老版本用法用法hadoop fs [generic options]
•hdfs命令新版本用法用法hdfs dfs [generic options]
两者在文件系统操作上用法完全一致
用哪个都可以
某些特殊操作需要选择hadoop命令或hdfs命令
讲到的时候具体分析
下面以新版本用户hdfs命令为例介绍
2.3 创建文件夹
语法
hdfs dfs -mkdir [-p] path ...mkdir创建文件夹-p如果父目录不存在创建path待创建的目录
示例
hdfs dfs -mkdir -p /gaogzhen/bigdata2.4 查看指定文件夹下的内容
语法
hadfs -ls [-h] [-R] [path ...]-h人性化显示文件size-R递归查看指定目录及其子目录
示例
hdfs dfs -ls -R /
[hadoopnode1 ~]$ hdfs dfs -ls -R /
drwxr-xr-x - hadoop supergroup 0 2023-08-30 20:44 /gaogzhen
drwxr-xr-x - hadoop supergroup 0 2023-08-30 20:46 /gaogzhen/bigdata
-rw-r--r-- 3 hadoop supergroup 20 2023-08-30 20:46 /gaogzhen/bigdata/words.txt2.5 上传文件到HDFS
语法
hdfs dfs -put [-f] [-p] src ... dst-f 覆盖目标文件如果存在-p保留访问和修改权限所有权和权限src本地文件系统dst目的文件系统HDFS)
示例
hdfs dfs -put -f words.txt /gaogzhen/bigdata2.6 查看HDFS文件内容
语法
hdfs dfs -cat src ...读取指定文件全部内容显示在标准输出控制台
同Linux一样可以配置more less 使用。
示例
hdfs dfs -cat /gaogzhen/bigdata/words.txt
node1
node2
node32.7 下载HDFS文件
hdfs dfs -get [-f] [-p] src ... localdst下载文件到本地文件系统指定目录localdst必须是目录 -f 覆盖目标文件已存在下 -p 保留访问和修改时间所有权和权限。
2.8 HDFS数据删除操作
hdfs dfs -rm -r [-skipTrash] URI [URI ...] 删除指定路径的文件或文件夹 -skipTrash 跳过回收站直接删除
回收站功能默认关闭如果要开启需要在core-site.xml内配置
propertynamefs.trash.interval/namevalue1440/value/propertypropertynamefs.trash.checkpoint.interval/namevalue120/value/property无需重启集群在哪个机器配置的在哪个机器执行命令就生效。
回收站默认位置在/user/用户名(hadoop)/.Trash
其他常用命令可以查看官网文档这里不在一一介绍属性Linux系统的话这些命令都轻车熟路。
3 HDFS客户端-jetbrians产品插件
我们使用DataGrip来安装和配置插件。
3.1 Big Data Tools 安装
打开设置settings-plugins-搜索Big Data Tools-install,如下图所示 安装之后重启DataGrip。
3.2 配置windows
需要对Windows系统做一些基础设置配合插件使用 解压Hadoop安装包到Windows系统如解压到E:\gaogzhen\dev\bigdata\hadoop\hadoop-3.3.4 设置$HADOOP_HOME环境变量指向E:\gaogzhen\dev\bigdata\hadoop\hadoop-3.3.4 path中添加$HADOOP_HOME\bin
下载 hadoop.dllhttps://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll winutils.exehttps://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe
可以自行下载或从课程资料中获取
将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中
加压报错如下图所示 这个是Linux系统的软连接不影响目前的功能直接关闭即可
3.3 配置Big Data Tools
第一步打开hdfs配置 第二步配置hdfs 现在可以以图形化的形式对hdfs进行操作 HDFS客户端以NFS 挂载客户端的形式自行查阅相关文档这里不在演示。
结语
如果小伙伴什么问题或者指教欢迎交流。 ❓QQ:806797785 参考链接:
[1]大数据视频[CP/OL].2020-04-16.
