RabbitMQ高级篇---消息可靠性
1、消息可靠性:
消息从发送到消费者接受,会经历多个过程,每个消息传递的过程都可能导致消息的丢失:
常见的丢失原因:
发送时消息丢失原因:
生产者发送的消息未送达exchange
消息到达exchange后未到达queue
MQ宕机,queue将消息丢失
consumer接收到消息后未消费就宕机
RabbitMQ分别给出了解决方案
- 生产者发送确认机制
- mq持久化
- 消费者消费确认机制
- 失败重试机制
生产者消息确认:
publisher-confirm 发送者确认
- 消息成功就发送到交换机,返回ack
- 消息为成功发送到交换机, 返回nack
pubisher-return 发送者回执
- 消息发送到交换机,但是没有路由到队列,返回ACK,以及路由失败的原因
?在发送者的配置文件中添加配置:
spring:
rabbitmq:
#启用发送确认,生产者到交换机
publisher-confirm-type: correlated
#回调 启用发送确认,从交换机到队列
publisher-returns: true
#启用失败回调
template:
mandatory: true #如果是false 直接丢弃失败的消息
在发送者中添加测试类:
1、(生产者到交换机)
public void testSendMessage2SimpleQueue() throws InterruptedException {
// 1.消息体
String message = "hello, spring amqp!";
// 2.全局唯一的消息ID,需要封装到CorrelationData中
CorrelationData correlationData = new CorrelationData(UUID.randomUUID().toString());
// 3.添加callback
correlationData.getFuture().addCallback(
result -> {
if(result.isAck()){
// 3.1.ack,消息成功
log.debug("消息发送成功, ID:{}", correlationData.getId());
}else{
// 3.2.nack,消息失败
log.error("消息发送失败, ID:{}, 原因{}",correlationData.getId(), result.getReason());
}
},
ex -> log.error("消息发送异常, ID:{}, 原因{}",correlationData.getId(),ex.getMessage())
);
// 4.发送消息
rabbitTemplate.convertAndSend("task.direct", "task", message, correlationData);
}
2、(交换机到队列)给RabbitTemplate添加回调?
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.context.annotation.Configuration;
// ApplicationContextAware spring 生命周期回调
// PostConstruct 在bean创建构造函数执行完成后 回调PostConstruct方法
@Slf4j
@Configuration
public class CommonConfig implements ApplicationContextAware {
@Override
public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
// 获取RabbitTemplate
RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
// 设置ReturnCallback
rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
// 投递失败,记录日志
log.info("消息发送失败,应答码{},原因{},交换机{},路由键{},消息{}",
replyCode, replyText, exchange, routingKey, message.toString());
// 如果有业务需要,可以重发消息
});
}
}
消息持久化:?
交换机持久化 ????????默认是持久化
队列持久化 ? ? ? ? ? ? ?默认持久化
消息持久化 ? ? ? ? ? ? ? ?默认持久化
?
消费者消息确认
RabbitMQ是阅后即焚机制,RabbitMQ确认消息被消费者消费后会立刻删除。
RabbitMQ是通过消费者回执来确认消费者是否成功处理消息的:消费者获取消息后,应该向RabbitMQ发送ACK回执,表明自己已经处理消息。回执分为3种类型:ack、nack、reject。如果消费者返回ack,MQ会把消息从队列删除;如果返回nack或者reject,如果requeue是true的话,MQ会把消息重新投递给消费者,如果requeue是false的话,MQ会把消息删掉。
SpringAMQP则允许配置三种确认模式:
?manual:手动ack,需要在业务代码结束后,调用api发送ack。
?auto:自动ack,由spring监测listener代码是否出现异常,没有异常则返回ack;抛出异常则返回nack,并且requeue是true
?none:关闭ack,MQ假定消费者获取消息后会成功处理,因此消息投递后立即被删除
默认是auto
none模式下,消息投递是不可靠的,可能丢失
auto模式类似事务机制,出现异常时返回nack,消息回滚到mq;没有异常,返回ack
manual:自己根据业务情况,判断什么时候该ack
什么是消费失败重试机制?
当消费者出现异常后,消息会不断requeue(重入队)到队列,再重新发送给消费者,然后再次异常,再次requeue,无限循环,导致mq的消息处理飙升,带来不必要的压力。
解决方法:
1)本地重试:我们可以利用Spring的retry机制,在消费者出现异常时利用本地重试,而不是无限制的requeue到mq队列。
spring:
rabbitmq:
listener:
simple:
retry:
enabled: true # 开启消费者失败重试
initial-interval: 1000 # 初识的失败等待时长为1秒
multiplier: 3 # 失败的等待时长倍数,下次等待时长 = multiplier * last-interval
max-attempts: 3 # 最大重试次数
stateless: true # true无状态;false有状态。如果业务中包含事务,这里改为false
第一次 1秒
第二次 3*1000 = 3秒
第三次 3*3000 = 9秒
第四次 3*9000 = 27秒
-
重试达到最大次数后,Spring会返回reject,消息会被丢弃
2)失败策略
重试次数耗尽,如果消息依然失败,则需要有MessageRecovery接口来处理,它包含三种不同的实现:
- RejectAndDontRequeueRecoverer:重试耗尽后,直接reject,丢弃消息。默认就是这种方式
- ImmediateRequeueMessageRecoverer:重试耗尽后,返回nack,消息重新入队
- RepublishMessageRecoverer:重试耗尽后,将失败消息投递到指定的交换机(推荐!!!)
?
?
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!