欢聚时代(BIGO)大数据面试题及参考答案（4万字长文）

Kafka 的消费者与消费者组的区别以及多个消费者组消费同一个主题的不同

消费者（Consumer）是从 Kafka 主题（Topic）中读取消息的应用程序或进程。消费者组（Consumer Group）是由一个或多个消费者组成的逻辑分组，这些消费者共同消费一个或多个主题的消息。

1. 消费者与消费者组的区别：

   • 独立性：单个消费者是独立的实体，可以独立地从主题中读取消息。而消费者组中的消费者协同工作，共同消费主题中的消息分区。
   • 分区分配：单个消费者可以手动指定要消费的分区，或者使用自动分配策略。在消费者组中，Kafka 自动将主题的分区分配给组内的消费者，以实现负载均衡。例如，一个主题有 10 个分区，一个消费者组中有 3 个消费者，Kafka 会尽量平均地将分区分配给这三个消费者，可能每个消费者分配到 3 或 4 个分区。
   • 消费位移管理：单个消费者需要自己管理消费位移，即记录已经消费到哪个位置。消费者组中的消费者的消费位移由 Kafka 自动管理，并记录在 Kafka 的内部主题中。这样，当消费者出现故障后重新启动时，可以从上次消费的位置继续消费。
   • 故障处理：如果单个消费者出现故障，它所消费的分区不会自动重新分配给其