Kafka Rebalance

Rebalance 是指，将一个 Topic 下的多个队列，在同一个消费组的多个成员之间进行重新分配。

比如，一个 Topic 下 8 个队列，只有一个消费者时，一个消费者将处理 8 个队列的消息。如果在组内增加一个消费者，在不重启服务的情况下，将 8 个队列分配给两个消费者，从而支持动态并行处理消息。

Rebalance 的影响

• 消费暂停：只有一个消费者时，它负责 8 个队列，新增一个消费者后，触发 Rebalance，需要给新消费者分配 4 个队列。第一个消费者停止 4 个队列的消费，等到新消费者分配到 4 个队列后才能继续被消费。
• 消费重复：一般情况下，防止消费丢失，先消费消息，后更新消费进度，如果 Rebalance 后，当前消费者不再持有正在消费的队列，会持久化消费进度，而消费进度往往滞后于消息消费。Rebalance 完成后，其他消费者会从持久化的进度处继续消费，可能导致消息重复消费。
• 消费突刺：消息有积压，就可能有消息突刺。由于 Rebalance 可能产生消费暂停、消费重复，导致消息积压，在 Rebalance 后需要处理积压的消息。

Rebalance 典型场景

See also

• https://www.cnblogs.com/lgg20/p/16179830.html
• https://blog.51cto.com/u_15127632/4052251