西安做百度网站公司,做那种的视频网站,讯美 深圳网站建设,2019Wordpress中文主题kafka是一个大数据消息队列#xff08;可以看做为缓存软件#xff09;
功能测试#xff1a;能够读写数据
性能测试#xff1a;1、测试生产者每秒往kafka写入的最大吞吐量 2、测试消费者每秒从kafka里获取消息最大吞吐量
硬件
3台物理机组成的kafka集群。
内存121G、24…kafka是一个大数据消息队列可以看做为缓存软件
功能测试能够读写数据
性能测试1、测试生产者每秒往kafka写入的最大吞吐量 2、测试消费者每秒从kafka里获取消息最大吞吐量
硬件
3台物理机组成的kafka集群。
内存121G、249G、121G
CPU都是超线程后40核
系统centos7.9
SAS硬盘 500g 看情况加
--command-config /usr/local/service/kafka/config/kafka-client-properties.conf
我是开了kerbers认证的
kafka-client-properties.conf文件内容如下 security.protocolSASL_PLAINTEXT sasl.mechanismGSSAPI sasl.kerberos.service.namehadoop 测试1、功能测试创建一个topic能够往里面写
#创建topic
bin/kafka-topics.sh --bootstrap-server ${brokerIP}:9092 --create --topic test_topic_001 --partitions 5 --replication-factor 2 --command-config /usr/local/service/kafka/config/kafka-client-properties.conf 生产数据到kafka
bin/kafka-console-producer.sh --topic test_topic_001 --bootstrap-server ${brokerIP}:9092 --producer.config /usr/local/service/kafka/config/kafka-client-properties.conf bin/kafka-console-consumer.sh --topic test_topic_001 --from-beginning --bootstrap-server ${brokerIP}:9092 --consumer.config /usr/local/service/kafka/config/kafka-client-properties.conf
消费者获取kafka数据 功能测试结束 测试2 生产者性能测试
先学习下参数
./kafka-producer-perf-test.sh
--topic 指定topic
--num-records 指定生产数据量
--throughput 指定吞吐量 -1为不限定吞吐量
--record-size record数据大小单位字节数
--producer-props keyvalue 指定producer配置 10个分区3个副本副本会影响Io和网络延迟但是模拟实际环境每条300字节数据5000万条数据量。 新建topic /usr/local/service/kafka/bin/kafka-topics.sh --create --topic kindom_test --partitions 10 --replication-factor 3 --bootstrap-server xxx1:9092,xxx2:9092,xxx3:9092 --command-config /usr/local/service/kafka/config/kafka-client-properties.conf 生产数据 bin/kafka-producer-perf-test.sh --topic kindom_test --num-records 50000000 --throughput -1 --record-size 300 --producer-props bootstrap.serversxxx1:9092,xxx2:9092,xxx3:9092 acks1 --producer.config /usr/local/service/kafka/config/kafka-client-properties.conf 50000000 records sent, 645103.022953 records/sec (184.57 MB/sec), 149.40 ms avg latency, 969.00 ms max latency, 5 ms 50th, 607 ms 95th, 750 ms 99th, 853 ms 99.9th. Kafka写入吞吐量
约64万条/秒
平均速率184MB/秒 测试3消费者性能测试
学习下参数 --broker-listkafka-broker列表 --topic指定topic --fetch-size指定每次fetch的数据大小(字节数) --messages总共要消费的消息数 --threads线程数 单线程测试消费5000万数据 bin/kafka-consumer-perf-test.sh --topic kindom_test --threads 1 --messages 50000000 --broker-list xxx1:9092,xxx2:9092,xxx3:9092 --consumer.config /usr/local/service/kafka/config/kafka-client-properties.conf start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec 2025-01-08 17:08:31:958, 2025-01-08 17:09:03:884, 14305.1147, 448.0710, 50000000, 1566121.6563, 441, 31485, 454.3470, 1588057.8053 消费吞吐量 448mb/s
每秒消费156万条
学习下参数 data.consumed.in.MB总消费大小(MB) MB.sec平均每秒消费(MB/s) data.consumed.in.nMsg总消费条数条 nMsg.sec平均每秒消费条 rebalance.time.ms再平衡时间(ms) fetch.time.msfetch平均时间(ms) fetch.MB.secfatch平均大小(MB/s) fetch.nMsg.secfatch平均条数(条) 参考
性能工具之 Kafka 快速 BenchMark 测试示例_kafka测试工具-CSDN博客
