网站域名年费多少钱,网站建设 硬件投入,作风建设活动网站,湖北 网站 备案 时间Hadoop 3.x的版本架构和模型介绍
由于Hadoop 2.0是基于JDK 1.7开发的#xff0c;而JDK 1.7在2015年4月已停止更新#xff0c;这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本#xff0c;即hadoop 3.0。Hadoop 3.0中引入了一些重要的功能和优化#xff0c;包括…Hadoop 3.x的版本架构和模型介绍
由于Hadoop 2.0是基于JDK 1.7开发的而JDK 1.7在2015年4月已停止更新这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本即hadoop 3.0。Hadoop 3.0中引入了一些重要的功能和优化包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。 Apache hadoop 项目组最新消息hadoop3.x以后将会调整方案架构将Mapreduce 基于内存io磁盘共同处理数据。改变最大的是hdfs,hdfs 通过最近block块计算根据最近计算原则本地block块加入到内存先计算通过IO共享内存计算区域最后快速形成计算结果
Hadoop 3.0新特性
通用性 1.精简Hadoop内核包括剔除过期的API和实现将默认组件实现替换成最高效的实现。 Classpath isolation以防止不同版本jar包冲突 3.Shell脚本重构 Hadoop 3.0对Hadoop的管理脚本进行了重构修复了大量bug增加了新特性。 HDFS Hadoop3.x中Hdfs在可靠性和支持能力上作出很大改观 1.HDFS支持数据的擦除编码这使得HDFS在不降低可靠性的前提下节省一半存储空间。 2.多NameNode支持即支持一个集群中一个active、多个standby namenode部署方式。注多ResourceManager特性在hadoop 2.0中已经支持。 HDFS纠删码 在Hadoop3.X中HDFS实现了Erasure Coding这个新功能。Erasure coding纠删码技术简称EC是一种数据保护技术.最早用于通信行业中数据传输中的数据恢复是一种编码容错技术。 它通过在原始数据中加入新的校验数据使得各个部分的数据产生关联性。在一定范围的数据出错情况下通过纠删码技术都可以进行恢复。 hadoop-3.0之前HDFS存储方式为每一份数据存储3份这也使得存储利用率仅为1/3hadoop-3.0引入纠删码技术(EC技术)实现1份数据0.5份冗余校验数据存储方式。 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有1.4 倍的空间开销然而HDFS副本则会有3倍的空间开销。 支持多个NameNodes 最初的HDFS NameNode high-availability实现仅仅提供了一个active NameNode和一个Standby NameNode并且通过将编辑日志复制到三个JournalNodes上这种架构能够容忍系统中的任何一个节点的失败。 然而一些部署需要更高的容错度。我们可以通过这个新特性来实现其允许用户运行多个Standby NameNode。比如通过配置三个NameNode和五个JournalNodes这个系统可以容忍2个节点的故障而不是仅仅一个节点。 MapReduce Hadoop3.X中的MapReduce较之前的版本作出以下更改 1.Tasknative优化为MapReduce增加了C/C的map output collector实现包括SpillSort和IFile等通过作业级别参数调整就可切换到该实现上。对于shuffle密集型应用其性能可提高约30%。 2.MapReduce内存参数自动推断。在Hadoop 2.0中为MapReduce作业设置内存参数非常繁琐一旦设置不合理则会使得内存资源浪费严重在Hadoop3.0中避免了这种情况。 Hadoop3.x中的MapReduce添加了Map输出collector的本地实现对于shuffle密集型的作业来说这将会有30%以上的性能提升
Hadoop集群搭建
HADOOP集群具体来说包含两个集群HDFS集群和YARN集群两者逻辑上分离但物理上常在一起。 HDFS集群负责海量数据的存储集群中的角色主要有 NameNode、DataNode、SecondaryNameNode YARN集群负责海量数据运算时的资源调度集群中的角色主要有 ResourceManager、NodeManager 那mapreduce是什么呢它其实是一个分布式运算编程框架是应用程序开发包由用户按照编程规范进行程序开发后打包运行在HDFS集群上并且受到YARN集群的资源调度管理。
集群部署方式
standalone mode独立模式 独立模式又称为单机模式仅1个机器运行1个java进程主要用于调试。 Pseudo-Distributed mode伪分布式模式 伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager但分别启动单独的java进程主要用于调试。 Cluster mode群集模式 集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下主节点和从节点会分开部署在不同的机器上。
Hadoop安装包目录结构
解压hadoop-3.3.0-Centos7-64-with-snappy.tar.gz目录结构如下 binHadoop最基本的管理脚本和使用脚本的目录这些脚本是sbin目录下管理脚本的基础实现用户可以直接使用这些脚本管理和使用Hadoop。 etcHadoop配置文件所在的目录包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。 include对外提供的编程库头文件具体动态库和静态库在lib目录中这些头文件均是用C定义的通常用于C程序访问HDFS或者编写MapReduce程序。 lib该目录包含了Hadoop对外提供的编程动态库和静态库与include目录中的头文件结合使用。 libexec各个服务对用的shell配置文件所在的目录可用于配置日志输出、启动参数比如JVM参数等基本信息。 sbinHadoop管理脚本所在的目录主要包含HDFS和YARN中各类服务的启动/关闭脚本。 shareHadoop各个模块编译后的jar包所在的目录官方自带示例。
