Airflow

S3-240226. Python 오퍼레이터

SandSalt 2024. 2. 26. 18:19

1. 파이썬 오퍼레이터 이해

라이브러리 가져오기

: from airflow.operators.python import PythonOperator

 

2. 파이썬 모듈 경로 이해

파이썬은 sys.path 변수에서 모듈의 위치를 검색

wsl $ python

>>> import sys

>>> from pprint import pprint

>>> pprint(sys.path)

실행하는 파이썬 파일과 동일 디렉토리에 있는 파일

그 밑은 

pip로 설치한 라이브러리들

 

파이썬 모듈 경로 이해

sys.path에 값을 추가하는 방법

1) 명시적으로 추가 ( ex: sys.path.append('/home/hjkim') )

2) OS 환경변수 PYTHONPATH에 값을 추가

 

Airlfow는 자동적으로  dags 폴더와 plugins폴더를 sys.path에 추가함.

(컨테이너에서 airflow info 명령을 수행해보자)

" Paths info " 밑에 잡혀있음.