Kafka Auto Commit

Kafka Auto Commit

Kafka Offset

• Kafka Partition 별로 메시지의 연속된 id (sequence id)
• Consumer에서도 현재까지 읽은 메시지의 offset을 가지고 있다 (_consumer_offsets)
• Consumer가 Kafka에 현재까지 읽은 메시지의 offset을 알려주는 것이 commit 이라고 한다.

Auto Commit

enable.auto.commit : true

auto.commit.interval.ms : 5000

• 특정 주기마다 자동으로 commit을 하는 설정
• enable true이고 interval.ms가 5초인경우에는 5초마다 consumer에서 자동으로 commit을 하게 된다.
• commit을 직접관리하는 경우에는 enable을 false로 설정을 하고 프로그래밍적으로 commit을 하면 된다.