cod建站平台,苏州网站建设熊掌号,央视十大广告代理公司,北京市建设工程信息网中标公告大数据平台迁移后yarn连接zookeeper 异常分析
XX保险HDP大数据平台机房迁移异常分析。 异常现象#xff1a;
机房迁移后大部分组件都能正常启动Yarn 启动后8088 8042等端口无法访问Hive spark 作业提交到yarn会出现卡死。 【备注】虽然迁移#xff0c;但IP不变。
1. Yarn连…大数据平台迁移后yarn连接zookeeper 异常分析
XX保险HDP大数据平台机房迁移异常分析。 异常现象
机房迁移后大部分组件都能正常启动Yarn 启动后8088 8042等端口无法访问Hive spark 作业提交到yarn会出现卡死。 【备注】虽然迁移但IP不变。
1. Yarn连接zookeeper 日志报错
问题分析:
yarn 6000毫秒内无法活动连接到活跃的zookeeper服务hdfs hive kafka等组件正常启动
2. Zookeeper 客户端查看zookeeper正常
问题分析 1.zookeeper数据存在并正常显示。
3. Zookeeper 中出现错误日志
2023-09-09 11:36:30,009 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory222] - Accepted socket connection from /xx.xx.xx.xx:570702023-09-09 11:36:30,009 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn908] - Processing ruok command from /xx.xx.xx.xx:570702023-09-09 11:36:30,010 - INFO [Thread-178:NIOServerCnxn1056] - Closed socket connection for client /xx.xx.xx.xx:57070 (no session established for client)2023-09-09 11:37:29,900 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory222] - Accepted socket connection from /xx.xx.xx.xx:591142023-09-09 11:37:29,901 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn908] - Processing ruok command from /xx.xx.xx.xx:591142023-09-09 11:37:29,902 - INFO [Thread-179:NIOServerCnxn1056] - Closed socket connection for client /xx.xx.xx.xx:59114 (no session established for client)2023-09-09 11:38:29,954 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory222] - Accepted socket connection from /xx.xx.xx.xx:329942023-09-09 11:38:29,955 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn908] - Processing ruok command from /xx.xx.xx.xx:329942023-09-09 11:38:29,956 - INFO [Thread-180:NIOServerCnxn1056] - Closed socket connection for client /xx.xx.xx.xx:32994 (no session established for client)2023-09-09 11:39:30,008 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory222] - Accepted socket connection from /xx.xx.xx.xx:350902023-09-09 11:39:30,008 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn908] - Processing ruok command from /xx.xx.xx.xx:350902023-09-09 11:39:30,009 - INFO [Thread-181:NIOServerCnxn1056] - Closed socket connection for client /xx.xx.xx.xx:35090 (no session established for client)4. 重装yarn服务仍然报错
由于大数据集群众多组件都会连接zookeeper集群并且数据存放其中,我们选择重装yarn 组件 报错没有任何变化(强制卸载
yarn:
rpm -e hadoop_3_1_5_0_152-yarn-3.1.1.3.1.5.0-152.x86_64
hadoop_3_1_5_0_152-yarn-resourcemanager-3.1.1.3.1.5.0-152.x86_64 –nodeps
手动安装yarn
yum install -y hadoop_3_1_5_0_152-yarn hadoop_3_1_5_0_152-yarn-resourcemanager其中hive spark tez Zeppelin 对yarn有依赖可先在管理页面进行增删操作即可)
5. 手动删除zookeeper 中存放yarn集群数据后集群没有自动创建新的选举信息数据手动创建集群无法识别
6. 分析
分析zookeeper中缺少正确yarn集群数据信息手动创建失效由此可以确认zookeeper data数据出现异常。导致的可能性原因①可能是在迁移过程中yarn的组件ResourceManager 和 NodeManager的相关集群信息写入到zk未来得及持久化。②迁移时候服务未完全停止导致yarn的核心组件RM和NM在zk上的数据文件受损。③新集群环境下yarn与zookeeper的配置可能有不适配的情况。④网络异常导致的。等等
1问题分析一
YARN 包含两个主要组件ResourceManager 和 NodeManager。
在 YARN 中ResourceManager 负责管理整个集群的资源分配和任务调度NodeManager 则运行在各个工作节点上负责启动、监视和停止应用程序的任务。
当 ResourceManager 和 NodeManager 启动时它们会向 ZooKeeper 写入以下信息 ResourceManagerResourceManager 启动时会向 ZooKeeper 写入有关活跃和非活跃 NMNodeManager节点列表、当前活跃集群管理员的信息以及正在处理的应用程序的列表信息。这些信息具体包括为每个NM分配的容器数量、当前可用资源池的状态以及集群的全局配置。 NodeManagerNodeManager 启动时会向 ZooKeeper 写入自己的身份信息和集群中其他的 NM 节点信息。它还会向 ZooKeeper 注册自己的地址、端口、该节点的状态等信息。此外NodeManager 定期向 ZooKeeper 发送心跳消息来更新其状态信息以便 ResourceManager 可以根据需要重新分配集群中的资源。
通过向 ZooKeeper 写入这些信息ResourceManager 和 NodeManager 可以协调和管理集群中的各个组件实现高可用性、容错性以及资源的正常调度。同时这些信息也可以帮助管理员和开发人员更好地监视和管理 YARN 集群。
请注意具体写入 ZooKeeper 的信息和路径可能会根据 YARN 的版本和配置有所不同。要了解更详细的信息建议查阅您使用的 YARN 版本的官方文档和相关配置文件。
YARN 中 ResourceManager 和 NodeManager 向 ZooKeeper 写入的信息通常是存储在持久化节点上的而不是普通节点。
持久化节点是指在 ZooKeeper 上创建的节点其数据将被持久地保存在磁盘上即使在节点断开连接或重启后也不会丢失。这种类型的节点适用于存储较为重要且需要长期保存的数据。
对于 YARN 中的信息如 ResourceManager 的活跃和非活跃 NM 节点列表、当前活跃集群管理员的信息以及正在处理的应用程序列表等这些数据通常被写入到持久化节点中。这样做的目的是确保即使在出现故障或重启后这些关键信息仍然可以被恢复和使用。
相反普通节点是指在 ZooKeeper 上创建的临时节点其数据在节点断开连接后会被自动删除。普通节点适合存储临时性的或与会话相关的数据。
总的来说YARN 中的关键信息通常会被写入到持久化节点中以确保数据的持久性和可靠性。
2问题分析二
如果在机房搬迁过程中只是更改了物理位置而 IP 地址保持不变一般情况下对于 YARN 和 ZooKeeper 的影响是很小的。这是因为 YARN 和 ZooKeeper 主要依赖的是 IP 地址来进行通信和交互并且它们的配置通常是基于 IP 地址进行设置的。
只要确保在机房搬迁后网络连接和路由设置正确并且将相同的 IP 地址分配给 YARN 和 ZooKeeper 组件它们应该能够正常工作。这意味着 YARN ResourceManager、NodeManager 以及 ZooKeeper 的集群节点都需要能够通过新的网络环境找到彼此的 IP 地址。
但是需要注意的是在搬迁过程中可能会发生其他因素导致的问题。例如搬迁过程中出现的硬件故障、网络配置错误、防火墙问题等都可能会对 YARN 和 ZooKeeper 的正常运行产生影响。因此在机房搬迁后仍然需要进行仔细的测试和验证确保所有组件能够正常通信和工作。
总体而言如果 IP 地址保持不变并且在机房搬迁后适当地调整网络配置和路由信息YARN 和 ZooKeeper 应该能够恢复正常运行。如有需要请在搬迁过程中密切关注相关日志和错误消息以及确保所有的配置与新的环境相匹配。
7. 解决方案:
备份zookeeper后删除zookeeper 中data数据文件version-2 重启后重新接入大数据集群恢复正常
结论由于本次机房迁移过程中出现数据文件异常所致。
