Kafka Partition 갯수와 Consumer 갯수에 따른 차이
4개 Partition, 1개 Consumer
- Consumer 1는 모든 Partition에서 데이터를 받는다.
4개 Partition, 2개 Consumer
- Consumer 1, Consumer 2가 각각의 파티션을 나누여서 받게 된다.
4개 Partition, 4개 Consumer
- 1개의 파티션이 하나의 컨슈머와 대응이 된다.
- 최적의 소모 방식
4개 Partition, 5개 Consumer
- Idle 상태의 Consumer가 하나가 존재를 하게 된다.
'실시간 데이터 처리 > Kafka' 카테고리의 다른 글
Kafka 특징 (0) | 2018.11.26 |
---|---|
Kafka consumer Configuration (At-Most-Once, At-Least-Once) (0) | 2018.09.27 |
Kafka Auto Commit (0) | 2018.09.20 |
Kafka Producer Partition Leader / Ack, Timeout (0) | 2018.07.31 |
Kafka Offset Monitor (0) | 2018.06.29 |