실시간 데이터 처리/Kafka

Kafka Partition 갯수와 Consumer 갯수에 따른 차이

BUST 2018. 10. 1. 22:09

Kafka Partition 갯수와 Consumer 갯수에 따른 차이

4개 Partition, 1개 Consumer

ktdg 04in01
  • Consumer 1는 모든 Partition에서 데이터를 받는다.

4개 Partition, 2개 Consumer

ktdg 04in02
  • Consumer 1, Consumer 2가 각각의 파티션을 나누여서 받게 된다.

4개 Partition, 4개 Consumer

ktdg 04in03
  • 1개의 파티션이 하나의 컨슈머와 대응이 된다.
  • 최적의 소모 방식

4개 Partition, 5개 Consumer

ktdg 04in04
  • Idle 상태의 Consumer가 하나가 존재를 하게 된다.


'실시간 데이터 처리 > Kafka' 카테고리의 다른 글

Kafka 특징  (0) 2018.11.26
Kafka consumer Configuration (At-Most-Once, At-Least-Once)  (0) 2018.09.27
Kafka Auto Commit  (0) 2018.09.20
Kafka Producer Partition Leader / Ack, Timeout  (0) 2018.07.31
Kafka Offset Monitor  (0) 2018.06.29