西安网站建设公,郑州专业建网站,网站假设公司排名,wordpress tinymce 字体第一章、大数据概述
1、大数据时代的特征#xff0c;并结合生活实例谈谈带来的影响。
#xff08;一#xff09;特征
1、Volume 规模性#xff1a;数据量大。
2、Velocity高速性#xff1a;处理速度快。数据的生成和响应快
摩尔定律#xff1a;每两年#xff0c;数…第一章、大数据概述
1、大数据时代的特征并结合生活实例谈谈带来的影响。
一特征
1、Volume 规模性数据量大。
2、Velocity高速性处理速度快。数据的生成和响应快
摩尔定律每两年数据量增加一倍
1秒定律响应时间时间控制在1秒以内
3、Variety多样化数据种类繁多。
大数据是由结构化、非结构化、半结构化数据组成的结构化数据仅占10%左右非结构化数据它们与人类信息密切相关
4、Value价值性价值密度低。
价值密度低商业价值高
通过各类大量数据中挖掘有价值的信息
5、Veracity真实性
真实有效为个性化推荐和精准营销提供了保证
二、大数据的影响
1、科学研究2、思维方式——全样非抽样效率非精确相关性3、改变人们的生活方式——安全监测、智能交通、股票分析、疫情监测4、带动相关的大数据产业诞生和发展5、人才培养和就业 2、大数据时代的思维方式的特征。
整体性大数据思维强调整体性能够更高效地完成复杂的数据统计和分析。
互联性大数据思维具有量化互联的特征通过信息全面定量采集和互通打通信息间隔阂。
价值性大数据思维具有价值化特征能够渗透至各个领域及行业的不同维度。
创新性大数据分析技术为获取事物之间的相关关系提供了极大的便利使“预测”成为大数据最核心的价值。
3、大数据关键技术
数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护。 大数据两大核心关键技术分布式存储分布式处理 4、大数据计算模式 5、简述大数据、云计算、物联网的概念以及之间的关系。
、大数据指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力用户只需要在具备网络接入条件的地方就可以随时随地获得所需的各种IT资源物联网物物相连的互联网是互联网的延伸它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起形成人与物、物与物相联实现信息化和远程管理控制 4.关系 第二章、大数据处理架构Hadoop 1、Hadoop概述 Hadoop是一个能够对大量数据进行分布式存储和处理的软件框架并且是以一种可靠、高效、可伸缩的方式进行处理的。 2、Hadoop的核心
HDFS是分布式文件存储系统(Hadoop Distributed File System) 、也是Hadoop的核心。
3、Hadoop特性
高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux平台上支持多种编程语言。
4、Hadoop项目结构 5、Hadoop的安装与使用 第三章、分布式文件系统HDFS
1、HDFS
1HDFS概念 HDFSHadoop Distributed File System为Hadoop中的用于存储和处理海量数据的分布式文件系统支持流式数据访问、存储和处理超大文件并运行于廉价的普通机器组成的服务器集群上。 2存储物理机结构-集群
分布式文件系统把文件分布存储到多个计算机节点上成千上万的计算机节点构成计算机集群 3分布式文件系统的体系结构
分布式文件系统在物理结构上是由计算机集群中的多个节点构成的这些节点分为两类
1、“主节点”(Master Node)或称“名称结点”(NameNode)
负责文件操作的执行管理数据节点和文件块的映射关系
2、“从节点”Slave Node或称“数据节点”(DataNode)
负责数据的读写和存储 1数据存储 2数据块
1、定义BlockHDFS默认一个块大小是128MB一个文件被分成多个块以块作为存储单位。
2、HDFS使用数据块的好处
支持大规模文件存储按块分发到各个计算机结点简化系统设计固定块大小简化了存储管理和元数据管理适合数据备份每个文件块都可以冗余存储到多个节点上大大提高了系统的容错性和可用性 3nameNode的数据结构
nameNode负责管理分布式文件系统的命名空间Namespace保存了两个核心数据结构
1、FsImage维护文件和文件夹的元数据包含文件的复制等级、访问权限、块大小以及组成文件的块等一般是GB以上。
2、EditLog记录了所有针对文件的创建、删除、重命名等操作 4nameNode的使用
启动将FsImage文件中的内容加载到内存中之后再执行EditLog只读操作更新更新FsImage文件并创建一个新的空白EditLog正常运行态读写文件系统更新操作先写入到EditLog而不是直接写入、更新FsImage
名称节点运行期间EditLog不断变大的问题会导致名称节点重启时缓慢
5SecondaryNameNode
用来保存NameNode中对HDFS元数据信息的备份并减少名称节点重启的时间。SecondaryNameNode一般是单独运行在一台机器上 作用 EditLog和FsImage的合并操作缩小EditLog也成为名称节点的〝检查点〞
6DataNode
负责数据的存储和读取会根据客户端或者是名称节点的调度来进行数据的存储和检索并且向名称节点定期发送自己所存储的块的列表。
每个数据节点中的数据会被保存在各自节点对应的文件系统中。
2、HDFS存储原理
1数据写入
第一个副本放置在上传文件的数据节点如果是集群外提交则随机挑选一台磁盘不太满、CPU不太忙的节点第二个副本放置在与第一个副本不同的机架的节点上第三个副本与第一个副本相同机架的其他节点上更多副本随机节点 2数据复制
1、流水线复制 2、过程 1文件写入本地分为多个块 2针对每一个块
向名称节点发出写请求返回一个数据节点列表把数据写入第一个数据节点中同时传递列表第一个数据节点接受并写入本地向第二个数据节点发出连接请求并传递接受的数据和列表第二个数据节点执行上一步操作依次循环直到完成所有副本的复制
3、冗余存储的优势 1、加快读数据时的传输速度 2、容易检查数据传输错误3、保证数据可靠性 3数据读取
从名称节点获得数据块不同副本的存放位置列表列表中包含了副本所在的数据节点可以调用API来确定客户端和这些数据节点所属的机架ID当发现某个数据块副本对应的机架ID和客户端对应的机架ID相同时就优先选择该副本读取数据如果没有发现就随机选择一个副本读取数据 4数据错误和恢复 3、HDFS编程实践
