Airflow
S3-240226. Python 오퍼레이터
SandSalt
2024. 2. 26. 18:19
1. 파이썬 오퍼레이터 이해
라이브러리 가져오기
: from airflow.operators.python import PythonOperator
2. 파이썬 모듈 경로 이해
파이썬은 sys.path 변수에서 모듈의 위치를 검색
wsl $ python
>>> import sys
>>> from pprint import pprint
>>> pprint(sys.path)
실행하는 파이썬 파일과 동일 디렉토리에 있는 파일
그 밑은
pip로 설치한 라이브러리들
파이썬 모듈 경로 이해
sys.path에 값을 추가하는 방법
1) 명시적으로 추가 ( ex: sys.path.append('/home/hjkim') )
2) OS 환경변수 PYTHONPATH에 값을 추가
Airlfow는 자동적으로 dags 폴더와 plugins폴더를 sys.path에 추가함.
(컨테이너에서 airflow info 명령을 수행해보자)
" Paths info " 밑에 잡혀있음.