배치 데이터 처리

Jenkins을 Batch Scheduler로 활용하기

BUST 2018. 6. 17. 14:29

Jenkins을 Batch Scheduler로 활용하기

- 서비스를 개발을 하다보면 실시간성으로 데이터를 처리 하는 기능도 필요하지만 (api-server, streamming.. etc) 정해지 시간내에 Batch 성으로 돌아가야되는 서비스 기능이 있을수도 있다. 그 예로는 이관, 검증, 이벤트 등의 경우이다.

- 정해진 시간에 실행되는 잡을 cron job이라고 하는데 보통은 리눅스 명령어인 crontab을 사용을 한다. 

- 하지만 shell을 이용한 batch 설정은 UI가 없고 로그 등을 확인하기가 어려운것이 있다. 직접 Schduler를 개발을 하는 방법도 있지만  여기에서는 Jenkins을 Batch Scheduler로 활용하는 방법에 대해 정리해보자.



Jenkins 다운 받기

- https://jenkins.io/download/
- Java Generic package(.war) 을 다운받는다면 아래와 같은 명령어를 실행을 할 수 있다.

java -jar jenkins.war



batch job 생성하기


build periodically를 이용하여 batch scheduler 등록하기



cron 설명

- jenkins은 cron expression을 사용한다 (https://en.wikipedia.org/wiki/Cron#CRON_expression)
- *(분) *(시) *(날짜) *(달) *(요일)


batch script




build history




'배치 데이터 처리' 카테고리의 다른 글

Apache Airflow  (0) 2018.07.07
Spring batch  (0) 2017.07.13