江苏财经职业技术学院会计系示范校建设专题网站,如何更快的学习.net网站开发,息壤空间怎么上传网站,做网站80端口使用 Redis List 和 Pub/Sub 实现简单的消息队列
Redis 本身不是专门的消息队列系统#xff0c;但它提供了多种数据结构#xff08;如 List、Pub/Sub、Stream#xff09;来实现消息队列功能。根据不同的业务需求#xff0c;可以选择不同的方式#xff1a;
在 Redis 中但它提供了多种数据结构如 List、Pub/Sub、Stream来实现消息队列功能。根据不同的业务需求可以选择不同的方式
在 Redis 中可以使用 List 或 Pub/Sub 模块实现简单的消息队列。两者的适用场景和实现方式有所不同
List列表适用于任务队列Task Queue支持持久化存储消费者可以消费历史消息支持 多消费者竞争消费类似于 Kafka。Pub/Sub发布/订阅适用于实时推送Event Notification不存储消息消费者只能接收发布时刻的消息适合 多消费者广播消费类似于 RabbitMQ Fanout。 方式一使用 Redis List 实现简单的消息队列
Redis 的 LPUSH 和 BRPOP 操作可以用来构建一个 基于拉取的消息队列。
1. 生产者Producer
生产者将消息推送到 Redis List 的尾部
LPUSH my_queue message1
LPUSH my_queue message2或在 Python 中
import redisr redis.Redis(hostlocalhost, port6379, decode_responsesTrue)
r.lpush(my_queue, message1)
r.lpush(my_queue, message2)LPUSH my_queue message将新消息插入队列的 左侧头部。RPUSH my_queue message 也可以使用它会将消息插入队列的 右侧尾部。
2. 消费者Consumer
消费者使用 BRPOP阻塞或 RPOP非阻塞从队列的 右侧 弹出消息
BRPOP my_queue 0或在 Python 中
while True:msg r.brpop(my_queue, timeout0) # 阻塞模式if msg:print(Received:, msg[1]) # msg[1] 是消息内容BRPOP my_queue 0如果队列为空则 阻塞 等待新的消息。RPOP my_queue如果队列为空直接返回 None不会阻塞。
3. 多消费者
多个消费者可以竞争消费消息即每条消息只会被 其中一个 消费者消费。例如有两个消费者在 BRPOP 同一个队列Redis 只会把某个消息分配给其中一个。
4. 消息确认与持久化
由于 Redis List 只存储消息不支持自动重试因此可以配合 LPUSHRPOPLPUSH 事务 实现持久化
先用 RPOPLPUSH my_queue processing_queue 把消息从 my_queue 转移到 processing_queue然后再处理。处理完成后从 processing_queue 中删除该消息。
msg r.rpoplpush(my_queue, processing_queue) # 转移到处理中队列
if msg:process_message(msg) # 处理消息r.lrem(processing_queue, 1, msg) # 处理完成后删除方式二使用 Redis Pub/Sub 实现消息队列
Pub/Sub 适用于实时消息推送消息不会存储适合事件广播。
1. 生产者Publisher
发布者向某个频道channel发送消息
PUBLISH my_channel message1或在 Python 中
r.publish(my_channel, message1)2. 消费者Subscriber
订阅者监听消息
SUBSCRIBE my_channel或在 Python
pubsub r.pubsub()
pubsub.subscribe(my_channel)for message in pubsub.listen():if message[type] message:print(Received:, message[data].decode())3. Pub/Sub 适用场景
实时消息推送如 WebSocket、聊天室。事件驱动系统如日志收集、状态变更通知。多消费者广播消费所有订阅者都会收到相同的消息。
4. Pub/Sub 局限性
消息 不会持久化如果订阅者掉线它不会收到丢失的消息。不能确保 消息按顺序消费。无法回溯历史消息相比 Kafka。 总结Redis List vs Pub/Sub
特性Redis ListRedis Pub/Sub消息存储存储在 List直到被消费不存储实时传输消费者模型多消费者竞争消费类似任务队列多消费者广播消费类似事件通知可靠性支持重试和确认机制订阅者掉线会丢失消息适用场景任务队列如延迟任务、任务分发实时推送如聊天、事件通知
如果需要 持久化队列建议使用 Redis List如果只是 实时推送可以用 Pub/Sub。
