Change Data Capture

Change Data Capture

• Database 삽입(insert) 업데이트(update), 삭제(delete)를 기록하는 기능
• 주로 Data-warehouse에서 주로 사용되는 기능. 새로 생성된 데이터 및 변경된 데이트를 DW에 저장을 하기 위해 사용

데이터 수집 방법

• 데이터의 시간정보(마지막 업데이트 시간)을 활용한다.
• 데이터의 버전 정보를 활용한다.
• 낙관적인 잠금
• 데이터의 status 정보를 활용한다.
• boolean 값으로 데이터가 변경되어있다는 것을 알리는 status를 포함시킨다.
• 테이블의 Trigger 기능
• Event 프로그래밍
• 데이터베이스의 Log를 스캔한다 (Mysql binlog 등)
• 데이터베이스마다 log format이 달라 구현 방식이 달라지나 기존의 application이나 schema에 영향이 없는 방법중이 하나이다.