桥东区网站建设,针织厂家东莞网站建设,简单的个人网页制作,微商城系统销售一、Hadoop HDFS(分布式文件系统) 为什么要分布式存储数据 假设一个文件有100tb#xff0c;我们就把文件划分为多个部分#xff0c;放入到多个服务器 靠数量取胜#xff0c;多台服务器组合#xff0c;才能Hold住 数据量太大#xff0c;单机存储能力有上限#xff0c;需要… 一、Hadoop HDFS(分布式文件系统) 为什么要分布式存储数据 假设一个文件有100tb我们就把文件划分为多个部分放入到多个服务器 靠数量取胜多台服务器组合才能Hold住 数据量太大单机存储能力有上限需要靠数量来解决问题 数量的提升带来的是网络传输磁盘读写CUP内存等各方面的综合提升。分布式组合在一起可以达到 112的效果 二、大数据体系中分布式的调度主要有2类架构模式 1.去(无)中心化模式 去中心化模式没有明确的中心众多服务器之间基于特定规则进行同步协调 2.中心化模式 中心化模式 主从模式大数据框架大多数的基础架构上都是符合中心化模式的 即有一个中心节点(服务器)来统筹其他服务器的工作统一指挥统一调派避免混乱 这种模式也被称之为一主多从模式简称主从模式(Master And Slaves) 主从模式(中心化模式)在现实生活中同样很常见 公司企业管理组织管理行政管理 我们学习的Hadoop框架就是一个典型的主从模式(中心化模式)架构的技术框架 三、HDFS是Hadoop三大组件(HDFSMapReduceYARN)之一 全程是Hadoop Distributed File SystemHadoop分布文件系统 是Hadoop技术栈内提供的分布式数据存储解决方案 可以在多台服务器上构建存储集群存储海量的数据 HDFS就是一个典型的主从架构拥有三个角色以下就是HDFS的基础架构 1.NameNode HDFS系统的主角色是一个独立的进程 负责管理HDFS整个文件系统 负责管理Datanode 2.Datanode HDFS系统的从角色是一个独立进程 主要负责数据的存储即存入数据和取出数据 3.SecondaryNameNode NameNode的辅助是一个独立进程 主要帮忙NameNode完成源数据整理工作(打杂) 四、HDFS架构概述 1NameNodenn存储文件的元数据如文件名文件目录结构文件属性生成时间、副本数、文件权限以及每个文件的块列表和块所在的DataNode等。 2DataNode(dn)在本地文件系统存储文件块数据以及块数据的校验和。 3Secondary NameNode(2nn)用来监控HDFS状态的辅助后台程序每隔一段时间获取HDFS元数据的快照。 五、YARN架构概述 1ResourceManager(rm)处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度 2NodeManager(nm)单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令 3ApplicationMaster数据切分、为应用程序申请资源并分配给内部任务、任务监控与容错。 4Container对任务运行环境的抽象封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关
