From 587412c945a14b25e9372e4669a2bbff3c5fd6c9 Mon Sep 17 00:00:00 2001 From: wbsong111 Date: Fri, 21 Aug 2026 16:15:46 +0900 Subject: [PATCH] =?UTF-8?q?airflow=20webserver=20secret=20key=20=EB=A5=BC?= =?UTF-8?q?=20=EA=B0=92=20=EB=8C=80=EC=8B=A0=20Secret=20=EC=9D=B4=EB=A6=84?= =?UTF-8?q?=EC=9C=BC=EB=A1=9C=20=EB=84=98=EA=B8=B4=EB=8B=A4=20(#46)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit #29 는 webserverSecretKey 에 placeholder 를 두고 콘솔이 배포 시점에 난수로 치환하게 했다. 신규 배포는 고정됐지만 재배포 경로에서 되살아났다 — 콘솔의 재배포 분기가 이미 치환된 values 가 아니라 placeholder 가 남아 있는 default_values_yaml 을 다시 parse 해서 매번 새 난수를 만든다. 실측에서 재배포 3회에 webserver ReplicaSet 이 3개 생겼고, airflow-config · metadata-secret · webserver-config 등 다른 체크섬은 전부 같은데 checksum/webserver-secret-key 하나만 달랐다. fernet key(#38, PR #45)가 이미 쓰는 "이름을 넘긴다" 방식으로 바꾼다. 이쪽이 값을 고정하는 것보다 강하다 — webserverSecretKeySecretName 이 설정되면 Secret 템플릿이 `if not` 가드로 비고 checksum/ 애노테이션이 해싱하는 대상이 상수가 된다. Deployment spec 이 애초에 키 값에 의존하지 않게 되므로 앞으로 어떤 이유로 키가 바뀌어도 롤링이 발생하지 않는다. 키가 tenant 레포(git)에 평문으로 남지도 않는다. 값 이름은 webserverSecretKeyName 이 아니라 webserverSecretKeySecretName 이다 (values.yaml:500). 차트가 읽는 Secret 의 키 이름은 webserver-secret-key 로 하드코딩돼 있다(_helpers.yaml:99). CUSTOM-README 5절은 두 비밀값을 같은 방식으로 설명하도록 고치고, helm 직접 배포 절차에 webserver Secret 생성을 추가했다. 마이그레이션 시 ArgoCD prune 주의사항도 적었다 — 차트가 만들던 Secret 은 tracking-id 가 붙은 추적 대상이라 콘솔이 인수할 때 그 애노테이션을 벗겨내야 한다. 세 파일 모두 service-catalog(ac5ae54, 배포 반영 완료)와 바이트 동일하다. Closes #46 Co-Authored-By: Claude Opus 5 (1M context) --- .../airflow/1.16.0/dip-values.yaml | 18 ++++--- .../helm/airflow/1.16.0/CUSTOM-README.md | 54 ++++++++++++------- manifests/helm/airflow/1.16.0/dip-values.yaml | 18 ++++--- 3 files changed, 56 insertions(+), 34 deletions(-) diff --git a/manifests/applicationset/airflow/1.16.0/dip-values.yaml b/manifests/applicationset/airflow/1.16.0/dip-values.yaml index e56369b..6a4f656 100644 --- a/manifests/applicationset/airflow/1.16.0/dip-values.yaml +++ b/manifests/applicationset/airflow/1.16.0/dip-values.yaml @@ -154,14 +154,16 @@ dags: - name: GIT_SSL_NO_VERIFY value: "true" -# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다 -# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall). -# -# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template -# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또 -# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다. -# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값). -webserverSecretKey: "$WEBSERVER_SECRET_KEY" +# webserver 세션 서명 키도 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에 +# <릴리스명>-webserver-secret-key Secret 을 보장하고 이 자리를 그 이름으로 치환한다. +# 값으로 넘기면(paasup/dip-catalog#29) 신규 배포는 고정되지만 재배포 경로에서 되살아난다 — +# 콘솔의 재배포 분기가 이미 치환된 values 가 아니라 placeholder 가 남아 있는 +# default_values_yaml 을 다시 parse 해서 매번 새 난수를 만든다 (paasup/dip-catalog#46 실측: +# 재배포 3회에 webserver ReplicaSet 3개, 다른 체크섬은 전부 같고 이것만 달랐다). +# 이름을 넘기면 Secret 템플릿이 `if not .Values.webserverSecretKeySecretName` 가드로 비어 +# 체크섬이 키 값과 무관한 상수가 된다 — 앞으로 키가 바뀌어도 롤링이 발생하지 않는다. +# 이름만 넘기므로 키가 tenant 레포(git)에 평문으로 남지 않는다. +webserverSecretKeySecretName: "$WEBSERVER_SECRET_KEY_SECRET" # fernet key 는 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에 # <릴리스명>-fernet-key Secret 을 만들고 이 자리를 그 이름으로 치환한다. diff --git a/manifests/helm/airflow/1.16.0/CUSTOM-README.md b/manifests/helm/airflow/1.16.0/CUSTOM-README.md index 800216d..b596a38 100644 --- a/manifests/helm/airflow/1.16.0/CUSTOM-README.md +++ b/manifests/helm/airflow/1.16.0/CUSTOM-README.md @@ -202,48 +202,66 @@ Airflow 웹서버는 Flask-AppBuilder 구조라 번들링 없이 CSS/JS를 개 ### 5) 반복 재배포 방지 설정 ArgoCD 배포에서 airflow가 반복 재배포되거나 Secret이 사라지는 것을 막기 위한 설정이다. -배경과 실측 근거는 paasup/dip-catalog#29 · #38 참고. +배경과 실측 근거는 paasup/dip-catalog#29 · #38 · #46 참고. + +**두 비밀값 모두 값이 아니라 Secret 이름을 넘긴다.** 값을 넘기는 방식은 #29에서 시도했다가 +재배포 경로에서 되살아났다(#46) — 콘솔의 재배포 분기가 placeholder가 남아 있는 +`default_values_yaml`을 다시 parse해 매번 새 난수를 만든다. | Name | 설명 | 기본값 | | ---- | ---- | ------ | -| `webserverSecretKey` | 세션 서명 키. 비우면 차트가 렌더할 때마다 난수를 만들어 webserver가 계속 롤링되고 웹 세션이 끊긴다 | `~` | -| `fernetKeySecretName` | fernet key Secret 이름. 비우면 차트가 `pre-install` 훅으로 Secret을 만드는데, 변경이 없는 sync에서 삭제만 되고 재생성되지 않는다 | `~` | +| `webserverSecretKeySecretName` | 세션 서명 키 Secret 이름(키는 `webserver-secret-key`). 비우면 차트가 렌더할 때마다 난수를 만들어 webserver가 계속 롤링되고 웹 세션이 끊긴다 | `~` | +| `fernetKeySecretName` | fernet key Secret 이름(키는 `fernet-key`). 비우면 차트가 `pre-install` 훅으로 Secret을 만드는데, 변경이 없는 sync에서 삭제만 되고 재생성되지 않는다 | `~` | | `migrateDatabaseJob.ttlSecondsAfterFinished` | `useHelmHooks: false`와 같이 두면 TTL 삭제 ↔ selfHeal 재생성 루프가 생긴다. `~`로 끈다 | `300` | - dip-values.yaml ``` yaml - webserverSecretKey: "$WEBSERVER_SECRET_KEY" + webserverSecretKeySecretName: "$WEBSERVER_SECRET_KEY_SECRET" fernetKeySecretName: "$FERNET_KEY_SECRET" migrateDatabaseJob: useHelmHooks: false ttlSecondsAfterFinished: ~ ``` -- `$WEBSERVER_SECRET_KEY`와 `$FERNET_KEY_SECRET`는 placeholder다. dip-console-api가 배포 - 시점에 각각 난수 키와 Secret 이름으로 치환한다 - (`catalogs/catalogtype/catalog_airflow.go`의 `DeployPreInstall`). +- `$WEBSERVER_SECRET_KEY_SECRET`와 `$FERNET_KEY_SECRET`는 placeholder다. dip-console-api가 + 배포 시점에 Secret을 보장하고 각각 그 이름으로 치환한다 + (`catalogs/catalogtype/catalog_airflow.go`의 `DeployPreInstall`). Secret이 이미 있으면 + 값을 건드리지 않으므로, 재배포해도 같은 이름으로 치환되고 렌더가 안정적이다. **카탈로그와 dip-console-api를 함께 반영해야 한다** — 한쪽만 반영하면 placeholder 문자열이 - 그대로 값이 되거나 아무 일도 일어나지 않는다. + 그대로 Secret 이름이 되거나 아무 일도 일어나지 않는다. +- **이름을 넘기는 것이 값을 고정하는 것보다 강하다.** `*SecretName`이 설정되면 차트의 Secret + 템플릿이 `{{- if not .Values.SecretName }}` 가드로 비고, `checksum/` 애노테이션이 + 해싱하는 대상이 상수가 된다 — Deployment spec이 애초에 키 값에 의존하지 않게 되므로 + 앞으로 어떤 이유로 키가 바뀌어도 롤링이 발생하지 않는다. - 같은 내용을 `manifests/applicationset/airflow/1.16.0/dip-values.yaml`(`---` 뒤 두 번째 YAML 문서)에도 반영한다. -- 이미 배포된 테넌트는 **재배포해야 적용된다.** fernet key는 재배포해도 기존 Secret을 그대로 - 인수하므로 Connection·Variable은 유지된다. webserver 세션은 끊겨 다시 로그인해야 한다. +- 이미 배포된 테넌트는 **재배포해야 적용된다.** 두 Secret 모두 기존 것을 그대로 인수하므로 + fernet의 Connection·Variable과 webserver 세션이 유지된다. +- **마이그레이션 시 ArgoCD prune 주의** — 차트가 만들던 `<릴리스명>-webserver-secret-key`는 + `argocd.argoproj.io/tracking-id` 애노테이션이 붙은 추적 대상이다. 차트가 이 Secret을 더 이상 + 렌더하지 않는 순간 ArgoCD는 "소스에서 사라졌다"고 보고 `prune: true`면 삭제한다. 콘솔이 + 같은 이름으로 인수하되 `argocd.argoproj.io/tracking-id`와 `app.kubernetes.io/instance`를 + 반드시 벗겨내야 한다. -- **helm으로 직접 배포할 때**는 dip-console-api를 거치지 않으므로 두 값을 직접 넣는다. +- **helm으로 직접 배포할 때**는 dip-console-api를 거치지 않으므로 두 Secret을 직접 만든다. + **키 이름이 정해져 있다** — 차트가 `secretKeyRef`로 하드코딩해 읽는다(`_helpers.yaml`). ``` sh - # fernet key Secret 생성 (키 이름은 반드시 fernet-key) - kubectl create secret generic airflow-fernet-key -n airflow \ - --from-literal=fernet-key="$(python3 -c 'import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())')" + gen() { python3 -c "import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())"; } - # webserver secret key 값 생성 - python3 -c "import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())" + # fernet key (키 이름은 반드시 fernet-key) + kubectl create secret generic airflow-fernet-key -n airflow \ + --from-literal=fernet-key="$(gen)" + + # webserver 세션 서명 키 (키 이름은 반드시 webserver-secret-key) + kubectl create secret generic airflow-webserver-secret-key -n airflow \ + --from-literal=webserver-secret-key="$(gen)" ``` ``` yaml - webserverSecretKey: "<위에서 생성한 값>" + webserverSecretKeySecretName: "airflow-webserver-secret-key" fernetKeySecretName: "airflow-fernet-key" ``` - 참고: `<릴리스명>-redis-password` · `<릴리스명>-broker-url`도 같은 `pre-install` 훅이라 sync에서 사라진다. `executor: "KubernetesExecutor"`인 현재는 참조하는 워크로드가 없어 무해하다(다음 배포 때 자동으로 다시 생긴다). CeleryExecutor로 바꾼다면 차트가 제공하는 - `redis.passwordSecretName` · `data.brokerUrlSecretName`으로 위 5.2와 같게 처리한다 — + `redis.passwordSecretName` · `data.brokerUrlSecretName`으로 이 절과 같게 처리한다 — `broker-url`은 redis 비밀번호를 DSN에 포함하므로 두 Secret을 함께 생성해야 한다. diff --git a/manifests/helm/airflow/1.16.0/dip-values.yaml b/manifests/helm/airflow/1.16.0/dip-values.yaml index 1a69a70..ae61119 100644 --- a/manifests/helm/airflow/1.16.0/dip-values.yaml +++ b/manifests/helm/airflow/1.16.0/dip-values.yaml @@ -63,14 +63,16 @@ dags: - name: GIT_SSL_NO_VERIFY value: "true" -# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다 -# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall). -# -# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template -# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또 -# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다. -# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값). -webserverSecretKey: "$WEBSERVER_SECRET_KEY" +# webserver 세션 서명 키도 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에 +# <릴리스명>-webserver-secret-key Secret 을 보장하고 이 자리를 그 이름으로 치환한다. +# 값으로 넘기면(paasup/dip-catalog#29) 신규 배포는 고정되지만 재배포 경로에서 되살아난다 — +# 콘솔의 재배포 분기가 이미 치환된 values 가 아니라 placeholder 가 남아 있는 +# default_values_yaml 을 다시 parse 해서 매번 새 난수를 만든다 (paasup/dip-catalog#46 실측: +# 재배포 3회에 webserver ReplicaSet 3개, 다른 체크섬은 전부 같고 이것만 달랐다). +# 이름을 넘기면 Secret 템플릿이 `if not .Values.webserverSecretKeySecretName` 가드로 비어 +# 체크섬이 키 값과 무관한 상수가 된다 — 앞으로 키가 바뀌어도 롤링이 발생하지 않는다. +# 이름만 넘기므로 키가 tenant 레포(git)에 평문으로 남지 않는다. +webserverSecretKeySecretName: "$WEBSERVER_SECRET_KEY_SECRET" # fernet key 는 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에 # <릴리스명>-fernet-key Secret 을 만들고 이 자리를 그 이름으로 치환한다.