自己的博客和自己的网站做友链,图片如何连接到wordpress,楚雄州城乡建设局网站,html怎么设置网页背景图片目录 1. 大数据2. Hadoop简介3. Hadoop伪分布式安装4. Hadoop启动参考 1. 大数据 大数据的定义#xff1a;一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。 特征#xff1a; 1.海量的数据规模 2.快速的数据流转 3.… 目录 1. 大数据2. Hadoop简介3. Hadoop伪分布式安装4. Hadoop启动参考 1. 大数据 大数据的定义一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。 特征 1.海量的数据规模 2.快速的数据流转 3.多样的数据类型 4.价值密度低 上述特征可以缩小成5个特点大量、高速、多样、价值、真实性。
2. Hadoop简介 Hadoop是一个由Apache软件基金会开发的分布式系统基础架构它实现了一个分布式文件系统HDFS。HDFS具有高容错性可以部署在价格低廉的硬件上能提供高吞吐量来访问应用程序的数据。Hadoop的另一个核心设计就是MapReduceMapReduce为海量的数据提供了计算。
3. Hadoop伪分布式安装 我推荐看Hadoop官网的单点伪分布式安装一定要完成Pseudo-Distributed Operation中的配置。 这里我推荐使用Docker我已经制作好了一个单点伪分布式的Hadoop镜像。拉取该镜像的命令docker pull mengsui/single_node_hadoop:4.0。 使用该镜像运行容器的命令docker run -d --gpus all -p 8080:8080 -p 8088:8088 -p 9870:9870 mengsui/single_node_hadoop:4.0(我在其中配置了nvidia-container-toolkit可以使用宿主机的GPU)。 9870是WebHDFS的端口8088是 YARN ResourceManager Web UI的端口8080是code-server(vscode网页版的端口)。
4. Hadoop启动 启动命令start-dfs.sh start-yarn.sh。 关闭命令stop-dfs.sh stop-yarn.sh。 检查启动是否成功jps。启动成功在jps命令下会显示ResourceManager、DataNode、SecondaryNameNode、NameNode、NodeManager。 启动完后直接点击8088和9870端口的连接即可进入如下界面。
参考
吴章勇 杨强著 大数据Hadoop3.X分布式处理实战
