kafka消息丢失


1. kafka自己丢消息的场景

  kafka接受到消息时,leader宕机,切换的follower没有拿到消息

  解决方案:设置leader和follower同步完成才算本次写成功,否则会无限次自动重发、消息写入成功判定标准、retries的值 

==> 这样能确保消息肯定不会丢

2. 消费者弄丢消息

  --关闭offset自动提交,处理完后通知kafka

生产环境碰到的问题:

kafka消费者消费到了数据之后,写到了一个内存的queue里先缓冲一下,结果有的时候,刚把消息写入queue,消费者拿到数据,自动提交offset后,机器重启

MQ