Airflow
Xcom
  • Airflow DAG 안 Task 간 데이터 공유를 위해 사용되는 기술 ex ) Task1의 수행 중 내용이나 결과를 Task2에서 사용 또는 입력으로 주고 싶은 경우

  • 주로 작은 규모의 데이터 공유를 위해 사용 (Xcom 내용은 메타 DB의 xcom 테이블에 값이 저장됨) 1GB 이상의 대용량 데이터 공유를 위해서는 외부 솔루션 사용 필요 (AWS S3, HDFS)

Xcom in Python Operator

  • 크게 두 가지 방법으로 Xcom 사용 가능

1) **kwargs에 존재하는 ti(task_instance) 객체 활용

2) 파이썬 함수의 return 값 활용