목록DATA ENGINEERING/Data Engineering (1)

HAZEL

[ Airflow ] Scheduling 개념 / execution_date

1. 스케쥴링 개념 Airflow 에서 start_date / execute_date 는 매우 헷갈리는 개념이다. start_date : DAG 스케쥴이 시작되는 시간(날짜) execution_date : 스케쥴을 한시간에 한번이라면, DAG 실행 한시간 전에 대한 시간 모든 문서에서 보면, execution_date를 date로 받아들이지 말고, dag 의 고유 실행 id 로 받아들이라고 한다. 그런 의미에서, 추후에 backfill 을 하더라도, 즉 나중에 해당 dag를 다시 실행하더라도 execution_date는 그대로 유지 된다. 2. 스케쥴링 테스트 1. catchup = False , schedule_interval = '*/15 * * * *' code dag = DAG( dag_id='d..
DATA ENGINEERING/Data Engineering 2022. 4. 29. 20:17
이전 Prev 1 Next 다음