Jenkins을 Batch Scheduler로 활용하기
- 서비스를 개발을 하다보면 실시간성으로 데이터를 처리 하는 기능도 필요하지만 (api-server, streamming.. etc) 정해지 시간내에 Batch 성으로 돌아가야되는 서비스 기능이 있을수도 있다. 그 예로는 이관, 검증, 이벤트 등의 경우이다.
- 정해진 시간에 실행되는 잡을 cron job이라고 하는데 보통은 리눅스 명령어인 crontab을 사용을 한다.
- 하지만 shell을 이용한 batch 설정은 UI가 없고 로그 등을 확인하기가 어려운것이 있다. 직접 Schduler를 개발을 하는 방법도 있지만 여기에서는 Jenkins을 Batch Scheduler로 활용하는 방법에 대해 정리해보자.
Jenkins 다운 받기
- https://jenkins.io/download/
- Java Generic package(.war) 을 다운받는다면 아래와 같은 명령어를 실행을 할 수 있다.
java -jar jenkins.war
batch job 생성하기
build periodically를 이용하여 batch scheduler 등록하기
cron 설명
- jenkins은 cron expression을 사용한다 (https://en.wikipedia.org/wiki/Cron#CRON_expression)
- *(분) *(시) *(날짜) *(달) *(요일)
batch script
build history
'배치 데이터 처리' 카테고리의 다른 글
Apache Airflow (0) | 2018.07.07 |
---|---|
Spring batch (0) | 2017.07.13 |