From 39f4b9778f4af2cae707b6c5b703ef9676b1d687 Mon Sep 17 00:00:00 2001 From: wbsong111 Date: Fri, 21 Aug 2026 09:20:45 +0900 Subject: [PATCH] =?UTF-8?q?airflow=20=EA=B0=80=20=EB=B0=98=EB=B3=B5=20?= =?UTF-8?q?=EC=9E=AC=EB=B0=B0=ED=8F=AC=EB=90=98=EB=8A=94=20=EB=91=90=20?= =?UTF-8?q?=EC=9B=90=EC=9D=B8=EC=9D=84=20=EC=B9=B4=ED=83=88=EB=A1=9C?= =?UTF-8?q?=EA=B7=B8=20=EA=B8=B0=EB=B3=B8=EA=B0=92=EC=97=90=EC=84=9C=20?= =?UTF-8?q?=EB=81=8A=EB=8A=94=EB=8B=A4=20(#29)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit `demo01-air` 에서 webserver 가 반복 롤링되고 migrations job 이 5분 주기로 재실행되던 것을 추적한 결과, 원인이 서로 다른 두 개였고 둘 다 카탈로그 기본값에서 비롯됐다 — 모든 airflow 테넌트가 해당된다. 원인 1 — webserverSecretKey 가 렌더할 때마다 바뀐다 값을 주지 않으면 차트가 템플릿에서 직접 난수를 만들고(`randAlphaNum 32`), 그 Secret 이 webserver·worker Deployment 의 `checksum/webserver-secret-key` 애노테이션에 물려 있어 렌더할 때마다 Deployment spec 이 바뀐다. 캐시된 매니페스트를 쓰는 reconcile 로는 일어나지 않지만 일반 refresh 만으로도 일어난다(실측). 차트 안에서는 못 고친다. `lookup` 재사용은 ArgoCD repo-server 가 클러스터 접근 없이 클라이언트 렌더를 하므로 항상 빈 값이다(클러스터에 Secret 이 실재하는데도 빈 값인 것을 확인). 릴리스명·네임스페이스 기반 결정적 파생은 렌더는 안정되지만 파생 입력이 전부 공개 정보라 세션 서명 키를 예측할 수 있어 부적합하다. 값이 차트 바깥에서 와야 한다. 그래서 `$WEBSERVER_SECRET_KEY` placeholder 를 두고, 배포 시점에 dip-console-api 가 난수로 치환한다(`catalogs/catalogtype/catalog_airflow.go` 의 `DeployPreInstall`). 치환된 values 가 tenant 레포에 저장되므로 이후 렌더는 그 고정값을 쓴다. 공용 `catalog_type_base.go` 가 아니라 airflow 전용 훅에 둔다. 원인 2 — migrations job 이 TTL 삭제 ↔ selfHeal 재생성 루프에 빠진다 `useHelmHooks: false`(업스트림이 ArgoCD 환경에 권고) 로 Job 이 ArgoCD 추적 리소스가 됐는데 차트 기본값 `ttlSecondsAfterFinished: 300` 이 그대로 남아 있었다. 완료 300초 뒤 TTL 컨트롤러가 Job 을 지우면 ArgoCD 가 OutOfSync 로 보고 selfHeal 이 다시 만든다. 템플릿에서 TTL 은 `useHelmHooks` 와 무관하게 항상 렌더되고 `kindIs "invalid"` 일 때만 빠지므로, `~` 로 꺼서 필드 자체를 없앤다. 대신 완료된 Job 객체가 남는다. 반영 위치가 2곳이다 — helm 카탈로그와 applicationset(`---` 뒤 두 번째 문서) 양쪽. 한쪽만 고치면 배포 경로에 따라 증상이 남는다. 주의 — dip-console-api 와 짝이다. 한쪽만 머지되면 placeholder 문자열이 그대로 키가 되거나(카탈로그만) 아무 일도 일어나지 않는다(console 만). 이미 배포된 테넌트는 재배포해야 적용된다. fernet key 는 같은 구조지만 체크섬에 물려 있지 않아 증상·마이그레이션 경로가 다르다 — 별건(#38)으로 둔다. Refs #29 Co-Authored-By: Claude Opus 5 (1M context) --- .../airflow/1.16.0/dip-values.yaml | 15 ++++ .../helm/airflow/1.16.0/CUSTOM-README.md | 72 ++++++++++++++++++- manifests/helm/airflow/1.16.0/dip-values.yaml | 15 ++++ 3 files changed, 101 insertions(+), 1 deletion(-) diff --git a/manifests/applicationset/airflow/1.16.0/dip-values.yaml b/manifests/applicationset/airflow/1.16.0/dip-values.yaml index 4ff32ab..3b84a44 100644 --- a/manifests/applicationset/airflow/1.16.0/dip-values.yaml +++ b/manifests/applicationset/airflow/1.16.0/dip-values.yaml @@ -154,6 +154,15 @@ dags: - name: GIT_SSL_NO_VERIFY value: "true" +# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다 +# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall). +# +# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template +# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또 +# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다. +# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값). +webserverSecretKey: "$WEBSERVER_SECRET_KEY" + webserver: defaultUser: enabled: true @@ -181,7 +190,13 @@ postgresql: enabled: false migrateDatabaseJob: + # helm hook 을 끄면 Job 이 ArgoCD 가 추적하는 일반 리소스가 된다. 이 상태에서 차트 기본값인 + # ttlSecondsAfterFinished: 300 이 남아 있으면, 완료 300초 뒤 TTL 컨트롤러가 Job 을 지우고 + # ArgoCD 는 그것을 OutOfSync 로 보고 selfHeal 로 다시 만든다 — 5분 주기 재실행 루프. + # 리소스 수명은 ArgoCD 가 관리하므로 TTL 을 끈다(null 이면 필드 자체가 렌더되지 않는다). + # 대신 완료된 Job 객체가 네임스페이스에 남는다. useHelmHooks: false + ttlSecondsAfterFinished: ~ data: # 시크릿의 connection 키(전체 DSN)를 그대로 쓴다 — 이 값이 설정되면 차트는 diff --git a/manifests/helm/airflow/1.16.0/CUSTOM-README.md b/manifests/helm/airflow/1.16.0/CUSTOM-README.md index 2950f6a..5061fbe 100644 --- a/manifests/helm/airflow/1.16.0/CUSTOM-README.md +++ b/manifests/helm/airflow/1.16.0/CUSTOM-README.md @@ -197,4 +197,74 @@ Airflow 웹서버는 Flask-AppBuilder 구조라 번들링 없이 CSS/JS를 개 db: airflow sslmode: disable ``` -- 참고: `manifests/applicationset/airflow/1.16.0/airflow-db-values.yaml` \ No newline at end of file +- 참고: `manifests/applicationset/airflow/1.16.0/airflow-db-values.yaml` + +### 5) 반복 재배포 방지 설정 + +`dip-values.yaml`에 있는 두 항목은 airflow가 반복 재배포되는 것을 막기 위한 것이다. 원인이 +서로 다르므로 따로 설명한다 (issue #29). + +#### 5.1) `webserverSecretKey` — 렌더 결정성 + +``` yaml +webserverSecretKey: "$WEBSERVER_SECRET_KEY" +``` + +- 이 값을 주지 않으면 차트가 템플릿 안에서 직접 난수를 만든다 + (`templates/secrets/webserver-secret-key-secret.yaml`의 `randAlphaNum 32`). +- 그 Secret은 webserver·worker Deployment의 `checksum/webserver-secret-key` 애노테이션에 + 물려 있어서, **매니페스트를 다시 렌더할 때마다 Deployment spec이 바뀌고 롤링이 걸린다.** + 실측에서 webserver가 반복 재배포되고 그때마다 웹 세션이 끊겼다. 캐시된 매니페스트를 + 그대로 쓰는 reconcile로는 일어나지 않지만, **일반 refresh만으로도 일어난다.** +- **차트 안에서는 못 고친다.** `lookup`으로 기존 Secret을 재사용하는 방법은 ArgoCD + repo-server가 클러스터 접근 없이 클라이언트 렌더를 하므로 항상 빈 값이 된다(클러스터에 + Secret이 실제로 있는데도 빈 값인 것을 실측 확인). 릴리스명·네임스페이스 기반 결정적 + 파생은 렌더가 안정되는 대신 파생 입력이 전부 공개 정보라 **세션 서명 키를 예측할 수 있어** + 부적합하다. 값이 차트 바깥에서 와야 한다. +- 그래서 `$WEBSERVER_SECRET_KEY`는 **placeholder**다. 배포 시점에 dip-console-api가 난수로 + 치환한다 — `catalogs/catalogtype/catalog_airflow.go`의 `DeployPreInstall` + (crypto/rand 32바이트, URL-safe base64). 치환된 values가 tenant 레포에 저장되므로 이후 + 렌더는 그 고정값을 쓴다. +- **dip-console-api와 짝이다.** 한쪽만 반영되면 placeholder 문자열이 그대로 키가 되거나 + (카탈로그만) 아무 일도 일어나지 않는다(console만). +- **helm으로 직접 배포할 때는** dip-console-api를 거치지 않으므로 치환이 일어나지 않는다. + `custom-values.yaml`에 실제 값을 직접 넣는다. + ``` sh + # 값 생성 + python3 -c "import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())" + ``` +- **재배포하면 새 키가 생성되어 기존 웹 세션은 무효화된다** — 사용자는 다시 로그인해야 한다. + +#### 5.2) `migrateDatabaseJob.ttlSecondsAfterFinished` — TTL ↔ selfHeal 루프 + +``` yaml +migrateDatabaseJob: + useHelmHooks: false + ttlSecondsAfterFinished: ~ +``` + +- `useHelmHooks: false`로 두면 migrations Job이 helm hook이 아니라 **ArgoCD가 추적하는 일반 + 리소스**가 된다. ArgoCD 환경에서 hook을 끄라는 것은 업스트림 권고다 + (`values.yaml` 주석: `Disable this if you are using ArgoCD for example`). +- 그런데 차트 기본값 `ttlSecondsAfterFinished: 300`이 그대로 남아 있으면, 완료 300초 뒤 TTL + 컨트롤러가 Job을 지우고 ArgoCD는 그것을 OutOfSync로 보고 selfHeal로 다시 만든다. + **migrations job이 5분 주기로 재실행되는 루프**가 된다. +- 둘의 조합이 문제다. 하나만 있으면 발생하지 않는다. +- 리소스 수명은 ArgoCD가 관리하므로 **TTL을 끈다.** `~`(null)이면 템플릿의 + `kindIs "invalid"` 가드에 걸려 `ttlSecondsAfterFinished` 필드 자체가 렌더되지 않는다 + (`templates/jobs/migrate-database-job.yaml`). 대신 완료된 Job 객체가 네임스페이스에 남는다. +- `createUserJob`도 `ttlSecondsAfterFinished: 300` + `useHelmHooks: true`로 구조가 같지만, + hook이 살아 있어 ArgoCD 추적 대상이 아니므로 지금은 문제가 없다. `useHelmHooks`를 끄게 + 되면 TTL도 같이 꺼야 한다. + +#### 5.3) 반영 위치가 2곳이다 + +같은 내용을 아래 두 파일에 모두 반영해야 한다. 한쪽만 고치면 배포 경로에 따라 증상이 남는다. + +- `manifests/helm/airflow/1.16.0/dip-values.yaml` +- `manifests/applicationset/airflow/1.16.0/dip-values.yaml` (`---` 뒤 두 번째 YAML 문서) + +#### 5.4) 이미 배포된 테넌트 + +tenant 레포에 저장된 values에는 이 설정이 없으므로, **재배포해야 적용된다.** 그전까지 기존 +테넌트의 롤링·job 재실행 루프는 계속된다. \ No newline at end of file diff --git a/manifests/helm/airflow/1.16.0/dip-values.yaml b/manifests/helm/airflow/1.16.0/dip-values.yaml index 6d2f1f1..ad7cec5 100644 --- a/manifests/helm/airflow/1.16.0/dip-values.yaml +++ b/manifests/helm/airflow/1.16.0/dip-values.yaml @@ -63,6 +63,15 @@ dags: - name: GIT_SSL_NO_VERIFY value: "true" +# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다 +# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall). +# +# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template +# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또 +# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다. +# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값). +webserverSecretKey: "$WEBSERVER_SECRET_KEY" + webserver: defaultUser: enabled: true @@ -99,7 +108,13 @@ postgresql: storageClass: "" migrateDatabaseJob: + # helm hook 을 끄면 Job 이 ArgoCD 가 추적하는 일반 리소스가 된다. 이 상태에서 차트 기본값인 + # ttlSecondsAfterFinished: 300 이 남아 있으면, 완료 300초 뒤 TTL 컨트롤러가 Job 을 지우고 + # ArgoCD 는 그것을 OutOfSync 로 보고 selfHeal 로 다시 만든다 — 5분 주기 재실행 루프. + # 리소스 수명은 ArgoCD 가 관리하므로 TTL 을 끈다(null 이면 필드 자체가 렌더되지 않는다). + # 대신 완료된 Job 객체가 네임스페이스에 남는다. useHelmHooks: false + ttlSecondsAfterFinished: ~ data: metadataSecretName: "$INFISICAL_SECRET" \ No newline at end of file