section
[core] | 전체 Airflow 시스템의 핵심 설정들 (home, dags_folder, executor, etc.) |
[webserver] | Airflow 웹 UI와 관련된 설정 (포트, 인증 방식, expose_config 등) |
[scheduler] | DAG 스케줄링 주기, DAG 파서 프로세서 수, heartbeat 주기 등 |
[logging] | 로그 저장 경로, 로그 포맷, log level 등 설정 |
[metrics] | Prometheus 등 외부 모니터링 시스템 연동 설정 |
[email] | 이메일 알림을 위한 SMTP 설정 |
[smtp] | 이메일 송신 서버 설정 (이메일 기능 쓸 때 연동됨) |
[database] | metadata DB 연결, pool, engine 설정 |
[celery] | executor가 Celery일 때 관련 설정 (broker, result backend 등) |
[kubernetes] | KubernetesExecutor 또는 K8sPodOperator 쓸 때 설정 |
[git-sync] | Git DAG Sync 기능 쓸 때 git 주소, 동기화 주기 등 |
[elasticsearch] | 로그를 Elasticsearch에 저장하려는 경우 설정 |
[api] | REST API 보안 및 auth 관련 설정 |
[secrets] | Vault, AWS Secrets Manager 등 외부 secret backend 설정 |
[triggerer] | Deferrable operators를 위한 triggerer 관련 설정 |
[smart_sensor] | Smart Sensor 기능을 사용할 때 설정 (2.4 이후 비활성화됨) |
[workers] | LocalExecutor or CeleryExecutor의 worker 관련 설정 |
Airflow는 설정 우선순위
- 환경변수 (AIRFLOW__...)
- airflow.cfg 설정값
- 내부 기본값 (default)
반응형
'Echo system > Airflow' 카테고리의 다른 글
Airflow standalone -> webserver, scheduler 전환 (0) | 2025.04.20 |
---|---|
airflow 설정 (0) | 2025.04.20 |
dag parsing & write_dag (0) | 2025.04.18 |
Airflow received sigterm. terminating subprocesses (1) | 2025.01.18 |
Airflow - Custom provider 생성 (1) | 2024.10.09 |