Echo system/Airflow

Airflow configuration

박쿠리 2025. 4. 20. 18:01

section

[core] 전체 Airflow 시스템의 핵심 설정들 (home, dags_folder, executor, etc.)
[webserver] Airflow 웹 UI와 관련된 설정 (포트, 인증 방식, expose_config 등)
[scheduler] DAG 스케줄링 주기, DAG 파서 프로세서 수, heartbeat 주기 등
[logging] 로그 저장 경로, 로그 포맷, log level 등 설정
[metrics] Prometheus 등 외부 모니터링 시스템 연동 설정
[email] 이메일 알림을 위한 SMTP 설정
[smtp] 이메일 송신 서버 설정 (이메일 기능 쓸 때 연동됨)
[database] metadata DB 연결, pool, engine 설정
[celery] executor가 Celery일 때 관련 설정 (broker, result backend 등)
[kubernetes] KubernetesExecutor 또는 K8sPodOperator 쓸 때 설정
[git-sync] Git DAG Sync 기능 쓸 때 git 주소, 동기화 주기 등
[elasticsearch] 로그를 Elasticsearch에 저장하려는 경우 설정
[api] REST API 보안 및 auth 관련 설정
[secrets] Vault, AWS Secrets Manager 등 외부 secret backend 설정
[triggerer] Deferrable operators를 위한 triggerer 관련 설정
[smart_sensor] Smart Sensor 기능을 사용할 때 설정 (2.4 이후 비활성화됨)
[workers] LocalExecutor or CeleryExecutor의 worker 관련 설정

 


 

Airflow는 설정 우선순위

  1. 환경변수 (AIRFLOW__...)
  2. airflow.cfg 설정값
  3. 내부 기본값 (default)
반응형

'Echo system > Airflow' 카테고리의 다른 글

Airflow standalone -> webserver, scheduler 전환  (0) 2025.04.20
airflow 설정  (0) 2025.04.20
dag parsing & write_dag  (0) 2025.04.18
Airflow received sigterm. terminating subprocesses  (1) 2025.01.18
Airflow - Custom provider 생성  (1) 2024.10.09