RabbitMQ 保证消息顺序执行

为什么要保证顺序

消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。

举例: 比如通过 Mysql binlog 进行两个数据库的数据同步,由于对数据库的数据操作是具有顺序性的,如果操作顺序搞反,就会造成不可估量的错误。比如数据库对一条数据依次进行了 插入->更新->删除操作,这个顺序必须是这样,如果在同步过程中,消息的顺序变成了 删除->插入->更新,那么原本应该被删除的数据,就没有被删除,造成数据的不一致问题。

场景

  1. 一个 queue,有多个 consumer 去消费,这样就会造成顺序的错误,consumer 从 MQ 里面读取数据是有序的,但是每个 consumer 的执行时间是不固定的,无法保证先读到消息的 consumer 一定先完成操作,这样就会出现消息并没有按照顺序执行,造成数据顺序错误。

image.png

  1. 一个 queue 对应一个 consumer,但是 consumer 里面进行了多线程消费,这样也会造成消息消费顺序错误。

image.png

解决方案

  1. 对于场景1: 拆分多个 queue,每个 queue 一个 consumer,就是多一些 queue 而已,比如根据数据ID将同一ID的数据发送到同一个队列中,交给同一个消费者处理。这样确实是麻烦点;这样也会造成吞吐量下降,可以在消费者内部采用多线程的方式取消费。

    image.png

  2. 对于场景2: 一个 queue 但是对应一个 consumer,然后这个 consumer 内部用内存队列(ConcurrencyQueue)做排队,然后分发给底层不同的worker来处理。

image.png