Kafka / микросервисы middle
Что нужно знать про Consumer Group?
Ответ
Каждая партиция — ровно один consumer из группы. Больше партиций → больше параллелизма. Если consumers > partitions — лишние простаивают. Rebalancing при добавлении/падении consumer. Offset хранится на уровне группы (в __consumer_offsets), поэтому после rebalancing чтение продолжается с закоммиченной позиции.
Разбор: В рамках одной consumer group каждую партицию читает строго один consumer, поэтому максимальный параллелизм ограничен числом партиций, а лишние consumer'ы простаивают. Offset хранится на уровне группы (в топике __consumer_offsets), поэтому после rebalancing чтение продолжается с закоммиченной позиции, а не с начала. Rebalancing срабатывает в том числе при подключении и падении consumer'ов.
Хочешь так же по своей компании — с вопросами по грейдам и задачами? Закажи гайд или забери свежее в Telegram.