设计网站主页要多少钱,搜狗推广下架,seo月薪,淘宝店网站论坛怎么做实验目的#xff1a;测试Flume采集数据发送到Kafka
实验方法#xff1a;通过centos7集群测试#xff0c;将flume采集的数据放到kafka中
实验步骤#xff1a; 一、 kafka可视化工具介绍
Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序。 Kafka Tool提供了…
实验目的测试Flume采集数据发送到Kafka
实验方法通过centos7集群测试将flume采集的数据放到kafka中
实验步骤 一、 kafka可视化工具介绍
Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息提供了一些专门面向开发人员和管理员的功能主要特性包括
- 快速查看所有Kafka集群信息包括其brokers, topics and consumers
- 查看分区中的消息内容并支持添加新消息
- 查看消费者偏移量支持查看Apache Storm Kafka Spout消费者偏移量
- 以pretty-printed 格式显示JSON和XML消息
- 添加和删除topic以及其他管理功能
- 将单个消息从指定分区保存到本地硬盘驱动器
- 支持用户编写自己的插件以查看自定义数据格式
- 支持在WindowsLinux和Mac OS上运行
下载地址
这个软件的安装很简单傻瓜式安装直接下一步就可以下载地址Offset Explorer 下载并安装你对应的操作系统版本软件 二、启动zookeeper集群
zk.sh start
# https://blog.csdn.net/pblh123/article/details/134730738 参考这个 三、启动kafka集群
kf.sh
# https://blog.csdn.net/pblh123/article/details/134730738 参考 通过kafkatools offset exploer 2.3 链接查看kafak 检查windows的hosts文件配置 四、启动flume
/opt/module/apache-flume-1.9.0-bin/bin/flume-ng agent -c conf -f /opt/module/apache-flume-1.9.0-bin/conf/kafka.conf -n a2 -Dflume.root.loggerINFO,console 五、启动消费者
# 创建kafka主题
/opt/module/kafka_2.12-3.0.0/bin/kafka-topics.sh --create --bootstrap-server hd1:9092 --replication-factor 3 --partitions 1 --topic RealDataTopic# 启动消费者
/opt/module/kafka_2.12-3.0.0/bin/kafka-console-consumer.sh --bootstrap-server hd1:9092 --topic RealDataTopic --from-beginning 实验结果flume采集数据到kafka链路跑通
