Question 1

OpenTelemetry가 활성화된 상태에서 DeadlineAlert가 트리거될 때 Airflow Triggerer가 'unhashable type: dict' 오류로 충돌하는 이유는 무엇인가요?

Accepted Answer

이는 Airflow 3.2.1의 알려진 버그로, 콜백 속성에 해시 불가능한 딕셔너리로 인해 OpenTelemetry 메트릭 통합이 실패합니다. 영구적인 수정은 이후 릴리스(PR #67527)에 포함되어 있습니다. 이 수정 사항이 포함된 버전으로 업그레이드하세요. 임시 해결 방법으로 airflow.cfg에서 `[metrics] otel_on = False`를 설정하거나 OTEL 구성을 제거하여 OpenTelemetry를 비활성화하세요.

Question 2

Apache Airflow에서 Content Security Policy를 사용할 때 DAG details 페이지가 'Loading'에서 멈추는 이유는 무엇인가요?

Accepted Answer

이는 Airflow 3.2.1에서 Monaco 편집기가 CDN에서 로드되어 Content Security Policy(CSP) 설정을 위반하는 알려진 문제입니다. 해결 방법은 Apache Airflow 버전 3.2.2 이상으로 업그레이드하는 것이며, 여기서 PR #66647이 Monaco를 외부에서 로드하는 대신 번들링하여 CSP 위반을 해결하고 UI를 올바르게 로드합니다.

Question 3

Airflow SSHRemoteJobOperator에서 environment values를 통한 OS command injection (RCE)을 해결하는 방법

Accepted Answer

영향 대상: apache-airflow-providers-ssh 4.3.0부터 6.1.0까지. `build_posix_wrapper_command` 메서드는 `environment` 값을 한 번만 작은따옴표 이스케이프한 후, 이를 두 번째 작은따옴표로 묶인 `job_script='...'` 리터럴 안에 삽입하므로, 값이 외부 원격 셸에서는 따옴표 처리되지 않은 상태로 남습니다. 따라서 값에 포함된 `$( )`, 백틱 또는 `;`가 SSH 연결의 서비스 계정 권한으로 실행됩니다. 수정: 각 값을 `shlex.quote()`로 따옴표 처리한 다음, 전체 export 블록을 외부 `job_script` 리터럴에 대해 한 번 더 이스케이프하십시오(명령어에 이미 적용되고 있는 것과 동일한 처리). 동일한 변경을 `build_windows_wrapper_command`에도 적용하십시오. 패치 전 완화 조치: 수정된 릴리스가 제공되는 즉시 SSH provider를 업그레이드하고, 트리거 시점의 사용자 입력(예: `dag_run.conf`)을 `environment`에 직접 전달하지 마십시오. 먼저 Dag에서 유효성 검사/정제를 수행하십시오(문자 허용 목록 적용, 셸 메타문자 거부). 또한 Dag 트리거 권한을 신뢰할 수 있는 역할로만 제한하십시오. Dag를 트리거할 수 있는 낮은 권한의 `USER` 역할이 이 취약점을 악용하여 원격 SSH 호스트에서 명령을 실행할 수 있기 때문입니다.

Question 4

Airflow DAG run 또는 task instance를 지울 때 "TypeError: unsupported type for timedelta seconds component: dict"를 수정하려면 어떻게 해야 하나요?

Accepted Answer

이는 DAG가 DeadlineReference.DAGRUN_QUEUED_AT를 사용할 때 Airflow 3.3.0+에 영향을 미칩니다. deadline_alert.interval 컬럼은 이제 JSON serde envelope로 저장되지만, clear 경로는 해당 dict를 timedelta(seconds=...)에 직접 전달합니다. 해결 방법: UI에서 태스크 인스턴스를 clear하는 대신 삭제하거나, clear 전에 DAG에서 deadline 매개변수를 일시적으로 제거하세요. 영구적인 코드 수정은 airflow-core/src/airflow/models/taskinstance.py에 있습니다: _recalculate_dagrun_queued_at_deadlines()는 timedelta를 호출하기 전에 deadline_alert.interval을 역직렬화해야 하며, 다른 deadline 소비자와 일치해야 합니다.

Question 5

Airflow KubernetesExecutor task가 'Invalid executor_config'와 함께 Queued 상태에 멈춘 경우 어떻게 수정하나요?

Accepted Answer

레거시 중첩 executor_config 형식은 더 이상 Airflow 3.x에서 유효하지 않습니다. KubernetesExecutor 래퍼를 최신 pod_override 키로 바꾸세요:

executor_config={
    "pod_override": {
        "apiVersion": "v1",
        "kind": "Pod",
        "spec": {
            # 컨테이너, 리소스, 어노테이션 등과 같은 Pod 오버라이드
        },
    }
}

다음을 사용하지 마세요:

executor_config={"KubernetesExecutor": {"config_file": "/some/path/kubeconfig.yaml"}}

스케줄러가 사용자 지정 kubeconfig를 사용하도록 해야 하는 경우, pod_override를 통해 구성하지 말고 전역으로 구성하세요. airflow.cfg에서:

[kubernetes_executor]
kube_config_path = /some/path/kubeconfig.yaml

또는 다음을 설정하세요:

export KUBECONFIG=/some/path/kubeconfig.yaml

그런 다음 Airflow 스케줄러를 재시작하세요. 스케줄러 로그 Invalid executor_config는 거부된 레거시 형식을 나타냅니다. executor_config를 수정하면 태스크가 Queued 상태로 계속 멈춰 있는 것을 방지합니다.

Apache Airflow

주요 기능

할 수 없는 것

사용 사례

태그

시작하기

유사한 프로젝트