建站工具介绍,免费的海报设计软件,中山市建设局安全监督站网站,wordpress 公司主页4、Work Queues
Work Queues— 工作队列 (又称任务队列) 的主要思想是避免立即执行资源密集型任务#xff0c;而不得不等待它完成。我们把任务封装为消息并将其发送到队列#xff0c;在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时#xff0c;这些工作…4、Work Queues
Work Queues— 工作队列 (又称任务队列) 的主要思想是避免立即执行资源密集型任务而不得不等待它完成。我们把任务封装为消息并将其发送到队列在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时这些工作线程将一起处理这些任务。
轮训分发消息
在这个案例中我们会启动两个工作线程一个消息发送线程我们来看看他们两个工作线程是如何工作的。 1、抽取工具类 import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;public class RabbitMqUtils {//得到一个连接的 channelpublic static Channel getChannel() throws Exception {//创建一个连接工厂ConnectionFactory factory new ConnectionFactory();factory.setHost(42.192.149.23);factory.setUsername(admin);factory.setPassword(123456);Connection connection factory.newConnection();Channel channel connection.createChannel();return channel;}
}2、启动两个工作线程来接受消息
import com.oddfar.utils.RabbitMqUtils;
import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;public class Worker01 {//定义队列private static final String QUEUE_NAME hello;public static void main(String[] args) throws Exception {//利用工具类创建信道Channel channel RabbitMqUtils.getChannel();//消息接受实现接口函数DeliverCallback deliverCallback (consumerTag, delivery) - {String receivedMessage new String(delivery.getBody());System.out.println(接收到消息: receivedMessage);};//消息被取消CancelCallback cancelCallback (consumerTag) - {System.out.println(consumerTag 消费者取消消费接口回调逻辑);};//消费者消费System.out.println(C1 消费者启动等待消费.................. );channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);}
}1开启多线程 选中 Allow multiple instances 2启动后 3、启动一个发送消息线程 public class Task01 {public static final String QUEUE_NAME hello;public static void main(String[] args) throws Exception {Channel channel RabbitMqUtils.getChannel();Scanner scanner new Scanner(System.in);while (scanner.hasNext()) { //hasNext有下一个就发送String message scanner.next();channel.basicPublish(, QUEUE_NAME, null, message.getBytes()); //生产者发送消息理解各参数意思System.out.println(消息发送完成 message);}}
}启动后 C1、C2轮询接受到消息 5、消息应答
消费者完成一个任务可能需要一段时间如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了会发生什么情况。
**RabbitMQ 一旦向消费者传递了一条消息便立即将该消息标记为删除。**在这种情况下突然有个消费者挂掉了我们将丢失正在处理的消息以及后续发送给该消费者的消息因为它无法接收到。
为了保证消息在发送过程中不丢失引入消息应答机制消息应答就是消费者在接收到消息并且处理该消息之后告诉 rabbitmq 它已经处理了rabbitmq 可以把该消息删除了。
1、自动应答
消息发送后立即被认为已经传送成功这种模式需要在高吞吐量和数据传输安全性方面做权衡因为这种模式如果消息在接收到之前消费者那边出现连接或者 channel 关闭那么消息就丢失了。当然另一方面这种模式消费者那边可以传递过载的消息没有对传递的消息数量进行限制当然这样有可能使得消费者这边由于接收太多还来不及处理的消息导致这些消息的积压使得内存耗尽最终这些消费者线程被操作系统杀死所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。
2、手动消息应答的方法
Channel.basicAck (用于肯定确认)RabbitMQ 已知道该消息成功被处理可以将其丢弃了。
Channel.basicNack (用于否定确认)
Channel.basicReject (用于否定确认)与 Channel.basicNack 相比少一个参数不处理该消息了直接拒绝可以将其丢弃了。
Multiple 的解释
手动应答的好处是可以批量应答并且减少网络拥堵 。
true 代表批量应答 channel 上未应答的消息
false 同上面相比只会应答 tag8 的消息
3、消息自动重新入队
如果消费者由于某些原因失去连接 (其通道已关闭连接已关闭或 TCP 连接丢失)导致消息未发送 ACK 确认RabbitMQ 将了解到消息未完全处理并将对其重新排队。如果此时其他消费者可以处理它将很快将其重新分发给另一个消费者。这样即使某个消费者偶尔死亡也可以确保不会丢失任何消息。
4、消息手动应答代码
默认消息采用的是自动应答所以我们要想实现消息消费过程中不丢失需要把自动应答改为手动应答。
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);1消息生产者 import com.rabbitmq.client.Channel;import java.util.Scanner;/*** 消息生产者,消息在手动应答时是不丢失的放回队列重新消费。** */
public class Task02 {private static final String TASK_QUEUE_NAME ack_queue;public static void main(String[] args) throws Exception {Channel channel RabbitMqUtils.getChannel();//声明队列channel.queueDeclare(TASK_QUEUE_NAME, false, false, false, null);Scanner sc new Scanner(System.in);System.out.println(请输入信息);while (sc.hasNext()) {String message sc.nextLine();//发布消息channel.basicPublish(, TASK_QUEUE_NAME, null, message.getBytes(UTF-8));System.out.println(生产者发出消息 message);}}}2睡眠工具类 3消费者 01 (4)消费者02把睡眠时间改成 30 秒 import com.rabbitmq.client.CancelCallback;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;public class Work03 {private static final String TASK_QUEUE_NAME ack_queue;public static void main(String[] args) throws Exception {Channel channel RabbitMqUtils.getChannel();System.out.println(C1 等待接收消息处理时间较 短);DeliverCallback deliverCallback (consumerTag, delivery) - {String message new String(delivery.getBody());try {Thread.sleep(1000);} catch (InterruptedException e) {e.printStackTrace();}System.out.println(接收到消息: message);/*** 1.消息标记 tag* 2.是否批量应答未应答消息*/channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);};CancelCallback cancelCallback (s) - {System.out.println(s 消费者取消消费接口回调逻辑);};//采用手动应答boolean autoAck false;channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, cancelCallback);}
}启动后 中途停掉消费者02 消息由消费者01接收 理解在生产者轮询发送消息cc和dd给消费者01和消费者02的时候消费者01处理的消息的时间较短所以立马就接受到了但是消费者02处理消息的时间较长需要30s。如果在消费者02处理消息的时候将消费者02关闭那么生产者发送的消息dd虽然消费者02 无法接收了但是也不会中途丢失消息dd会重新返回到队列中然后再从队列中发送给消费者01。这就是RabbitMQ的消息应答机制。
6、RabbitMQ 持久化3步走
当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失要如何保障默认情况下 RabbitMQ 退出或由于某种原因崩溃时它忽视队列和消息除非告知它不要这样做。确保消息不会丢失需要做两件事我们需要将队列和消息都标记为持久化。
1、队列如何实现持久化第1步
之前创建的队列都是非持久化的rabbitmq 如果重启的话该队列就会被删除掉如果要队列实现持久化需要在声明队列的时候把 durable 参数设置为持久化。
//让队列持久化
boolean durable true;
//声明队列
channel.queueDeclare(TASK_QUEUE_NAME, durable, false, false, null);
1直接修改声明会报错 2在RabbitMQ的Web界面手动删除队列 3将队列持久化 2、消息持久化第2步
消息实现持久化需要在消息生产者修改代码
MessageProperties.PERSISTENT_TEXT_PLAIN 添加这个属性。 将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘但是这里依然存在当消息刚准备存储在磁盘的时候但是还没有存储完消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强但是对于我们的简单任务队列而言这已经绰绰有余了。
7、不公平分发能者多劳
问题
在最开始的时候我们学习到 RabbitMQ 分发消息采用的轮训分发但是在某种场景下这种策略并不是很好比方说有两个消费者在处理任务其中有个消费者 1 处理任务的速度非常快而另外一个消费者 2 处理速度却很慢这个时候我们还是采用轮训分发的化就会到这处理速度快的这个消费者很大一部分时间处于空闲状态而处理慢的那个消费者一直在干活这种分配方式在这种情况下其实就不太好但是 RabbitMQ 并不知道这种情况它依然很公平的进行分发。
为了避免这种情况在消费者中消费之前我们可以设置参数 channel.basicQos(1)
需要看一下basicQos的源码参数设置的要求
//不公平分发
int prefetchCount 1;
channel.basicQos(prefetchCount);
//采用手动应答
boolean autoAck false;
channel.basicConsume(TASK_QUEUE_NAME, autoAck, deliverCallback, cancelCallback);测试效果
生产者连续发多几条消息 让处理消息速度快的消费者01多接收一点消息 消费者02接受的少
时间长所以少
理解意思就是如果这个任务我还没有处理完或者我还没有应答你你先别分配给我我目前只能处理一个任务然后 rabbitmq 就会把该任务分配给没有那么忙的那个空闲消费者当然如果所有的消费者都没有完 成手上任务队列还在不停的添加新任务队列有可能就会遇到队列被撑满的情况这个时候就只能添加新的 worker 或者改变其他存储任务的策略。
消息队列-RabbitMQworkQueues—工作队列、消息应答机制、RabbitMQ 持久化、不公平分发能者多劳 到此完结笔者归纳、创作不易大佬们给个3连再起飞吧
