网站设计师认证培训,网站如何在百度上做推广,搜索引擎优化中的步骤包括,迈若网站建设HDFS分布式文件系统 学习目标第一课时知识点1-文件系统的分类单机文件系统网络文件系统分布式文件系统 知识点2-HDFS架构知识点3-HDFS的特点知识点4-HDFS的文件读写流程知识点5-HDFS的健壮性 第二课时知识点1-HDFS的Shell介绍HDFS Shell的语法格式如下。HDFS Shell客户端命令中… HDFS分布式文件系统 学习目标第一课时知识点1-文件系统的分类单机文件系统网络文件系统分布式文件系统 知识点2-HDFS架构知识点3-HDFS的特点知识点4-HDFS的文件读写流程知识点5-HDFS的健壮性 第二课时知识点1-HDFS的Shell介绍HDFS Shell的语法格式如下。HDFS Shell客户端命令中dfs子命令的子命令选项-ls命令-du-mv-cp-rm-put-cat-help-mkdir-get 知识点2-案例-通过Shell脚本定时采集数据到HDFS 学习目标
使学生了解文件系统的分类能够描述不同文件系统的特点 使学生熟悉HDFS架构能够描述HDFS架构的主要组件及其作用 使学生了解HDFS的特点能够简述HDFS的特点 使学生掌握HDFS的文件读写原理能够叙述HDFS读写文件的流程 使学生熟悉HDFS的健壮性能够叙述HDFS心跳机制、副本机制和负载均衡等策略 使学生掌握HDFS的Shell操作能够灵活运用HDFS Shell命令操作HDFS 使学生掌握HDFS的Java API操作能够灵活使用Java API编写应用程序操作HDFS 使学生熟悉Federation机制能够描述Federation机制的结构、特点并实现Federation机制。 使学生了解Erasure Coding能够简述Erasure Coding节省存储空间的原理
第一课时
知识点1-文件系统的分类
单机文件系统
单机文件系统是所有文件系统的基础也是我们常用的一种文件系统它通过单台计算机的本地磁盘存储文件依靠操作系统提供的文件系统实现文件的存储和管理。随着互联网的兴起数据对存储容量要求越来越高单机文件系统的缺点逐渐显现出来。
网络文件系统
网络文件系统可以看作单机文件系统的一个网络抽象其本质与单机文件系统相似网络文件系统可以通过网络共享文件用户可以像访问本地磁盘的文件一样便捷的访问远端计算机的文件。网络文件系统的出现一定程度上解决了单机文件系统存储容量的瓶颈用户可以将文件存储在网络文件系统和本地文件系统两个位置。网络文件系统没有解决单机文件系统性能低、可靠性低的瓶颈。
分布式文件系统 知识点2-HDFS架构
HDFS架构图如下
1Block Block是HDFS文件系统中最小的存储单位通常称之为数据块。 在HDFS文件系统中存储的文件会被拆分成多个Block每个Block作为独立的单元进行存储同一文件的多个Block通常存放在不同的DataNode。 在Hadoop 3.x版本中默认Block大小是128M。 注意如果文件大小或者文件被拆分后的Block没有达到128MB则Block的大小也会根据实际情况进行调整。 2MetaData MeataData用于记录HDFS文件系统的相关信息这些信息称之为元数据。 在HDFS文件系统中为了确保元数据的快速访问元数据会保存在内存中。为了防止元数据的丢失会在本地磁盘中生成Fsimage文件备份元数据。 Hadoop集群运行的过程中用户频繁操作HDFS文件系统内存中的元数据变化会非常快。如果内存中的元数据一旦更新本地磁盘的Fsimage文件会同步更新这些操作非常消耗NameNode资源。 HDFS文件系统引入了Edits文件该文件以追加方式记录内存中元数据的每一次变化如果NameNode宕机可以通过合并Fsimage文件和Edits文件的方式恢复内存中存储的元数据。 3NameNode NameNode是HDFS集群的名称节点通常称为主节点。如果NameNode由于故障原因宕机无法使用那么用户就无法访问HDFS。NameNode作为HDFS的主节点起着至关重要的作用主要功能如下 管理文件系统的命名空间。 处理客户端对文件的读写请求。 维护HDFS的元数据。 维护和管理DataNode并协调DataNode为客户端发起的读写请求提供服务。 4DataNode DataNode是HDFS集群中的数据节点通常称为从节点主要功能如下。 存储Block。 根据NameNode的指令对Block进行创建、复制、删除等操作。 定期向NameNode汇报自身存储的Block列表以及健康状态。 负责为客户端发起的读写请求提供服务。 5SecondaryNameNode SecondaryNameNode是HDFS集群中的辅助节点 定期从NameNode拷贝Fsimage文件并合并Edits文件将合并结果发送给NameNode SecondaryNameNode和NameNode保存的Fsimage和Edits文件相同可以作为NameNode的冷备份当NameNode宕机无法使用时可以通过手动操作将SecondaryNameNode切换为NameNode。 知识点3-HDFS的特点 1存储大文件 2高容错性 3简单的一致性模型 4移动计算比移动数据更经济 5可移植性 知识点4-HDFS的文件读写流程
客户端向HDFS写文件的具体流程。 客户端从HDFS读文件的具体流程。 知识点5-HDFS的健壮性
1心跳机制 2副本机制 3数据完整性校验 4安全模式 5快照 高校教辅平台http://tch.ityxb.com发放测试题以巩固本节课的学习内容。
第二课时
知识点1-HDFS的Shell介绍
HDFS Shell类似于Linux操作系统中的Shell都是一种命令语言可以完成对HDFS上文件和目录的一系列操作。
HDFS Shell的语法格式如下。
hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]OPTIONS可选用来调试Hadoop。 SUBCOMMAND表示HDFS Shell的子命令用于操作HDFS。 SUBCOMMAND OPTIONS表示HDFS Shell子命令的选项。 具体参考 https://hadoop.apache.ac.cn/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
HDFS Shell客户端命令中dfs子命令的子命令选项 lsList files 列文件 du: Disk usage 磁盘使用率 mv: Move file 移动文件 cp: Copy file 复制文件 rm ReMove cat: concatenate 连锁 把多个文本连接起来 mkdirMake Directory(创建目录) -ls命令
hdfs dfs –ls [-S][-C][-r][-h][-R] path参数-S可选用于根据文件的大小按照由大到小的顺序显示指定目录的内容。 参数-C可选用于显示指定目录下文件和子目录的路径不显示关于文件和子目录的其他信息。 参数-r可选用于根据文件的大小按照由小到大的顺序显示指定目录的内容。 参数-h可选用于将默认的文件大小字节数格式化为便于查看的格式进行显示。 参数-R可选用于递归显示指定目录及其子目录的信息。 参数path用于指定查看的目录。 hdfs dfs –ls -S /data参数-S可选用于根据文件的大小按照由大到小的顺序显示指定目录的内容。 hdfs dfs –ls -r -h /data参数-r可选用于根据文件的大小按照由小到大的顺序显示指定目录的内容。 参数-h可选用于将默认的文件大小字节数格式化为便于查看的格式进行显示。 hdfs dfs –ls -R -C /data递归显示目录/data及其子目录的信息并且信息中仅显示文件和子目录的路径。 参数-C可选用于显示指定目录下文件和子目录的路径不显示关于文件和子目录的其他信息。 参数-R可选用于递归显示指定目录及其子目录的信息。 -du
用于查看HDFS指定目录下每个文件和子目录大小语法格式如下。
hdfs dfs -du [-s] [-h] path参数-s可选用于查看指定目录下所有文件和子目录的总大小。 参数-h可选用于将默认的文件和子目录大小字节数格式化为便于查看的格式进行显示。 hdfs dfs –du –h /data查看HDFS的目录/data中每个文件和子目录的大小并且将默认的文件和子目录大小格式化为便于查看的格式进行显示。
-mv
-mv用于移动HDFS指定目录或文件语法格式如下。
hdfs dfs -mv src dst参数src用于指定要移动的目录或文件。 参数dst用于将目录或文件移动到指定的目录如果指定的目录不存在并且与移动的目录或文件处于同一路径下那么会对文件或者目录进行重命名操作。 注意移动的目录或文件在指定的目录中不能存在。 将目录/data中的子目录/dataChild1移动到目录/data/dataChild中。
hdfs dfs –mv /data/dataChild1 /data/dataChild将目录/data中的文件dataA重命名为dataA_New。
hdfs dfs –mv /data/dataA /data/dataA_New-cp
-cp用于复制HDFS指定目录或文件语法格式如下
hdfs dfs -cp src dst参数src用于指定要复制的目录或文件可以同时复制多个文件或目录每个文件或目录用空格进行分隔。 参数dst用于将目录或文件复制到指定的目录该目录必须已经存在并且要复制的文件或目录在指定的目录中不能存在。如果复制的是单文件或目录则可以重新命名复制后的文件或目录名称。 将目录/data下的文件dataA_New和dataB复制到目录/data/dataChild。
hdfs dfs -ls -R /data
hdfs dfs -cp /data/dataA_New /data/dataB /data/dataChild将目录/data下的文件dataA_New复制到子目录/dataChild并且重命名为dataA。
hdfs dfs -cp /data/dataA_New /data/dataChild/dataA-rm
-rm用于删除HDFS指定目录或文件语法格式如下。
hdfs dfs -rm [-f] [-r] [-skipTrash] [-safely] src参数-f可选用于判断删除的目录或文件是否存在。 参数-r可选用于递归删除指定目录中的所有子目录和文件。 参数-skipTrash可选表示删除的文件或目录不会放入回收站。 参数-safely可选用于启动安全确认当删除目录时会提示是否删除避免误删。 使用子命令选项-rm删除目录/data的子目录/dataChild。
hdfs dfs –rm –r /data/dataChild-put
-put用于将本地文件系统中指定文件上传到HDFS指定目录语法格式如下。
hdfs dfs -put [-f] localsrc dst参数-f可选用于判断上传的文件在HDFS指定目录是否存在。如果存在则上传的文件会替换HDFS指定目录中已经存在的文件。 参数localsrc用于指定本地文件系统中上传的文件可以同时上传多个文件。 参数dst用于指定上传到HDFS的目录该目录必须存在。 使用子命令选项-put将本地文件系统中/export/data目录下的文件a.txt和b.txt上传到HDFS的目录/data。 hdfs dfs –put /export/data/a.txt /export/data/b.txt /data-cat
-cat用于查看HDFS指定文件内容语法格式如下。
hdfs dfs –cat src参数src用于指定查看的文件。 使用子命令选项-cat查看目录/data中文件a.txt的内容。
hdfs dfs –cat /data/a.txt-help
-mkdir
hdfs dfs -mkdir [-p] path参数-p可选它有两个作用 第一是创建目录如果要创建的目录存在则不会返回错误信息也不会重新创建。 第二是递归创建目录及其子目录。 在HDFS的目录/data中创建子目录/dataChild1并在子目录/dataChild1中创建子目录/dataChild2。 hdfs dfs –mkdir –p /data/dataChild1/dataChild2 -get
-get用于将HDFS的指定文件下载到本地文件系统指定目录语法格式如下。
hdfs dfs -get [-f] src localdst参数-f可选用于判断下载的文件在本地文件系统的指定目录是否存在。如果存在则下载的文件会替换指定目录中已存在的文件。 参数src用于指定HDFS中的文件可以同时下载多个文件。 参数localdst用于指定下载到本地文件系统的路径该路径必须存在。 知识点2-案例-通过Shell脚本定时采集数据到HDFS
通过一个案例演示如何通过Shell脚本周期性的将Hadoop的日志文件上传到HDFS操作步骤如下。
1创建Shell脚本
vi uploadHDFS.sh内容融入
#!/bin/bash
# 添加hadoop环境变量
export HADOOP_HOME/opt/module/hadoop-3.3.4
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 指定hadoop日志存放位置
hadoop_log_dir/opt/module/hadoop-3.3.4/logs/
# hadoop日志的存放位置
log_toupload_dir/opt/data/logs/toupload/
# 获取当前时间
datedate %Y_%m_%d_%H_%M
# 上传到hdfs上的目录名称
hdfs_dir/hadoop_log/$date/
# 判断不同服务器的hadoop日志目录是否存在
# -d 判断是否为目录
if [ -d $log_toupload_dir ];
thenecho $log_toupload_dir exits
elsemkdir -p $log_toupload_dir
fi
# 将不同虚拟机的hadoop日志文件收集到目录/opt/data/logs/toupload/
ls $hadoop_log_dir | while read fileName
do
# 如果文件名是.log结尾
if [[ $fileName *.log ]];
thenecho moving hadoop log to $log_toupload_dircp $hadoop_log_dir/*.log $log_toupload_dir# 如果有多台需要把多个日志都复制到当前节点的的/opt/data/logs/toupload/目录#scp rootnode2:$hadoop_log_dir/*.log $log_toupload_dir#scp rootnode3:$hadoop_log_dir/*.log $log_toupload_direcho moving hadoop log willDoingbreak
fi
done
echo create $hdfs_dir
# 创建hdfs目录
hdfs dfs -mkdir -p $hdfs_dir
ls $log_toupload_dir | while read fileName
doecho upload hadoop log $fileName to $hdfs_dirhdfs dfs -put $log_toupload_dir$fileName $hdfs_direcho upload hadoop log $fileName willDoing
done
echo delete $log_toupload_dir log
# 删除临时目录/opt/data/logs/toupload/
rm -fr $log_toupload_dir
2执行Shell脚本 启动hadoop集群
start-dfs.shsh uploadHDFS.sh如下
3验证Hadoop日志文件是否上传成功
http://192.168.100.3:9870/4定时执行Shell脚本文件 检查是否安装crontab
rpm -qa | grep crontabrpm -qarpm 是一个用于管理RPM包的工具-qa 选项表示列出所有已安装的软件包其中 -q 表示查询-a 表示所有包。这条命令会输出一个包含所有已安装包名称的列表。 |管道符号这是一个管道操作符它将前一个命令的输出作为后一个命令的输入。在这个例子中rpm -qa 输出的所有包名会被传递给 grep 命令。 grep crontabgrep 是一个强大的文本搜索工具它可以搜索文件中的指定模式。在这里crontab 是一个模式grep 将在管道传入的数据中搜索包含“crontab”的行。这将帮助你找到与crontab相关的已安装包。 若没有安装可以执行
yum -y install vixie-cronyum -y install crontabs启动crontab
service crond status
service crond start为脚本添加权限 查看uploadHDFS.sh的权限
chmod 777 uploadHDFS.sh在虚拟机node1执行“crontab -e”命令编辑Crontab文件配置定时任务在Crontab文件添加如下内容。
*/2 * * * * /export/data/uploadHDFS.sh10分钟后刷新HDFS Web UI界面可以看到需要上传的日志文件已经按照日期分类上传到HDFS中
