营销型网站建设托管,网站设计计划书的内容,和网站签约新闻,公司内部 网站开发分布式集群是由多个节点组成的系统#xff0c;可以提供高性能、高可用、高扩展的数据处理能力。本文介绍如何启动和关闭一个包含hadoop、zookeeper、hbase和spark的分布式集群。
目录
启动顺序
关闭顺序
启动和关闭hadoop
启动hadoop
关闭hadoop
查看网页
启动和关闭z…分布式集群是由多个节点组成的系统可以提供高性能、高可用、高扩展的数据处理能力。本文介绍如何启动和关闭一个包含hadoop、zookeeper、hbase和spark的分布式集群。
目录
启动顺序
关闭顺序
启动和关闭hadoop
启动hadoop
关闭hadoop
查看网页
启动和关闭zookeeper
启动zookeeper
关闭zookeeper
查看状态
启动和关闭hbase
启动hbase
关闭hbase
查看网页
验证hbase
启动和关闭spark
启动spark
关闭spark
启动Spark History Server
查看网页
验证spark 启动顺序
启动分布式集群的顺序是
先启动hadoop再启动zookeeper最后启动hbase和spark
这样可以保证各个组件之间的依赖关系和协调关系。
关闭顺序
关闭分布式集群的顺序是
先关闭hbase和spark再关闭zookeeper最后关闭hadoop
这样可以避免数据丢失和服务异常。
启动和关闭hadoop
hadoop是一个分布式文件系统和计算框架它提供了存储和处理海量数据的能力。hadoop主要由两个部分组成HDFSHadoop Distributed File System和YARNYet Another Resource Negotiator。
启动hadoop
启动hadoop之前需要先初始化hadoop的namenode这是HDFS的主节点负责管理元数据。只有在第一次启动时才需要执行这一步以后就不用了。在namenode所在的节点上执行以下命令
# 初始化namenode
hadoop namenode -format然后在namenode所在的节点上执行以下命令启动HDFS
# 启动HDFS
start-dfs.sh接着在resourcemanager所在的节点上执行以下命令启动YARN
# 启动YARN
start-yarn.sh最后可以在任意节点上执行以下命令查看各个进程是否正常运行
# 查看进程
jps也可直接快捷启动HDFS和YARN
start-all.sh 如果输出结果中包含以下进程则说明启动成功
NameNodeHDFS的主节点DataNodeHDFS的从节点负责存储数据块ResourceManagerYARN的主节点负责管理资源和调度任务NodeManagerYARN的从节点负责执行任务
关闭hadoop
关闭hadoop时只需要在任意节点上执行以下命令即可
# 关闭hadoop
stop-all.sh这个命令会自动停止所有的HDFS和YARN进程。
查看网页
如果想要查看hadoop的运行状态和数据情况可以通过浏览器访问以下网址
http://192.168.1.100:9870/这是namenode的网页界面可以查看HDFS的概况、文件系统、快照等信息。http://192.168.1.100:8088/cluster/这是resourcemanager的网页界面可以查看YARN的概况、应用、队列等信息。
其中192.168.1.100是namenode和resourcemanager所在节点的IP地址如果你的IP地址不同请自行替换。
启动和关闭zookeeper
zookeeper是一个分布式协调服务它提供了一致性、可靠性、原子性等特性可以用于实现分布式锁、配置管理、服务发现等功能。zookeeper由多个服务器组成一个集群每个服务器都有一个唯一的ID并且其中一个服务器会被选举为leader负责处理客户端的请求。
启动zookeeper
启动zookeeper时需要在每个服务器上执行以下命令
# 启动zookeeper
zkServer.sh start这个命令会在后台运行zookeeper并输出日志到指定的目录。如果想要在前台运行zookeeper并查看控制台输出的信息可以执行以下命令
# 启动zookeeper并输出日志到控制台
zkServer.sh start-foreground关闭zookeeper
关闭zookeeper时需要在每个服务器上执行以下命令
# 关闭zookeeper
zkServer.sh stop这个命令会停止zookeeper的进程并删除相关的文件。
查看状态
查看zookeeper的状态时有两种方法
在每个服务器上执行以下命令查看本地的状态
# 查看本地状态
zkServer.sh status这个命令会输出本地服务器的ID、角色leader或follower、连接数等信息。
在任意节点上执行以下命令查看远程的状态
# 查看远程状态
nc -v 192.168.1.100 2181
stat这个命令会连接到指定的服务器192.168.1.100是服务器的IP地址2181是zookeeper的默认端口并发送stat命令然后输出远程服务器的ID、角色、连接数等信息。
启动和关闭hbase
hbase是一个分布式的列式数据库它基于HDFS和zookeeper提供了高性能、高可用、高扩展的数据存储和查询能力。hbase主要由两个部分组成HMaster和HRegionServer。
启动hbase
启动hbase时需要先确保hadoop和zookeeper已经启动并且配置文件中指定了正确的HDFS和zookeeper地址。然后在任意节点上执行以下命令即可
# 启动hbase
start-hbase.sh这个命令会自动启动一个HMaster进程和多个HRegionServer进程。HMaster是hbase的主节点负责管理元数据和协调任务。HRegionServer是hbase的从节点负责存储和处理数据。启动hbase时会根据配置文件中指定的master节点来启动HMaster进程如果没有指定则随机选择一个节点。
关闭hbase
关闭hbase时需要先确保所有的客户端连接已经断开并且没有正在运行的任务。然后在任意节点上执行以下命令即可
# 关闭hbase
stop-hbase.sh这个命令会自动停止所有的HMaster和HRegionServer进程。关闭hbase时要保证HMaster节点没有挂掉否则可能导致数据丢失或服务异常。
查看网页
如果想要查看hbase的运行状态和数据情况可以通过浏览器访问以下网址
http://192.168.1.100:16010/这是HMaster的网页界面可以查看hbase的概况、表、快照等信息。
其中192.168.1.100是HMaster所在节点的IP地址如果你的IP地址不同请自行替换。
验证hbase
如果想要验证hbase是否正常工作可以通过交互式shell来操作hbase。在任意节点上执行以下命令打开交互式shell
# 打开交互式shell
hbase shell然后在交互式shell中输入各种命令例如
# 列出所有表
list# 创建一个表test有两个列族cf1和cf2
create test, cf1, cf2# 插入一条数据到test表中行键为row1列族为cf1列为c1值为v1
put test, row1, cf1:c1, v1# 查询test表中row1行的所有数据
get test, row1# 关闭然后删除test表
disable test
drop test这些命令可以对hbase进行基本的增删改查操作。如果想要了解更多的命令和用法可以参考官方文档或者输入help命令。
启动和关闭spark
spark是一个分布式的计算框架它基于HDFS和YARN提供了高性能、高可用、高扩展的数据处理能力。spark可以运行在多种模式下例如standalone、yarn、mesos等。在本文中我将介绍如何在yarn模式下启动和关闭spark。
启动spark
启动spark时只需要在主节点上执行以下命令即可
# 启动spark
start-all.sh这个命令会自动启动一个SparkMaster进程和多个SparkWorker进程。SparkMaster是spark的主节点负责管理资源和调度任务。SparkWorker是spark的从节点负责执行任务。启动spark时会根据配置文件中指定的master节点来启动SparkMaster进程如果没有指定则随机选择一个节点。
关闭spark
关闭spark时只需要在主节点上执行以下命令即可
# 关闭spark
stop-all.sh这个命令会自动停止所有的SparkMaster和SparkWorker进程。
启动Spark History Server
Spark History Server是一个可选的组件它可以提供历史任务的监控和分析功能。如果想要启动Spark History Server需要在主节点上执行以下命令
# 启动Spark History Server
start-history-server.sh这个命令会在后台运行Spark History Server并输出日志到指定的目录。
查看网页
如果想要查看spark的运行状态和数据情况可以通过浏览器访问以下网址
http://192.168.1.100:8080/这是SparkMaster的网页界面可以查看spark的概况、应用、工作、执行器等信息。http://192.168.1.100:18080/这是Spark History Server的网页界面可以查看历史任务的概况、应用、作业、阶段等信息。
其中192.168.1.100是主节点的IP地址如果你的IP地址不同请自行替换。
验证spark
如果想要验证spark是否正常工作可以通过提交一个示例程序来测试spark。在任意节点上的spark根目录执行以下命令提交一个计算圆周率的程序
# 提交一个计算圆周率的程序
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.12-3.2.3.jar 10这个命令会在客户端模式下提交一个程序到yarn上并输出结果到控制台。如果输出结果中包含以下内容则说明运行成功
# 输出结果
Pi is roughly 3.1418如果想要在集群模式下提交一个程序到yarn上并在yarn上查看结果可以执行以下命令
# 提交一个计算圆周率的程序
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.12-3.2.3.jar 10这个命令会在集群模式下提交一个程序到yarn上并输出结果到日志文件中。可以通过yarn的网页界面或者日志目录来查看结果。
