airflow webserver secret key 를 값 대신 Secret 이름으로 넘긴다 (#46)
#29 는 webserverSecretKey 에 placeholder 를 두고 콘솔이 배포 시점에 난수로 치환하게 했다. 신규 배포는 고정됐지만 재배포 경로에서 되살아났다 — 콘솔의 재배포 분기가 이미 치환된 values 가 아니라 placeholder 가 남아 있는 default_values_yaml 을 다시 parse 해서 매번 새 난수를 만든다. 실측에서 재배포 3회에 webserver ReplicaSet 이 3개 생겼고, airflow-config · metadata-secret · webserver-config 등 다른 체크섬은 전부 같은데 checksum/webserver-secret-key 하나만 달랐다. fernet key(#38, PR #45)가 이미 쓰는 "이름을 넘긴다" 방식으로 바꾼다. 이쪽이 값을 고정하는 것보다 강하다 — webserverSecretKeySecretName 이 설정되면 Secret 템플릿이 `if not` 가드로 비고 checksum/ 애노테이션이 해싱하는 대상이 상수가 된다. Deployment spec 이 애초에 키 값에 의존하지 않게 되므로 앞으로 어떤 이유로 키가 바뀌어도 롤링이 발생하지 않는다. 키가 tenant 레포(git)에 평문으로 남지도 않는다. 값 이름은 webserverSecretKeyName 이 아니라 webserverSecretKeySecretName 이다 (values.yaml:500). 차트가 읽는 Secret 의 키 이름은 webserver-secret-key 로 하드코딩돼 있다(_helpers.yaml:99). CUSTOM-README 5절은 두 비밀값을 같은 방식으로 설명하도록 고치고, helm 직접 배포 절차에 webserver Secret 생성을 추가했다. 마이그레이션 시 ArgoCD prune 주의사항도 적었다 — 차트가 만들던 Secret 은 tracking-id 가 붙은 추적 대상이라 콘솔이 인수할 때 그 애노테이션을 벗겨내야 한다. 세 파일 모두 service-catalog(ac5ae54, 배포 반영 완료)와 바이트 동일하다. Closes #46 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -202,48 +202,66 @@ Airflow 웹서버는 Flask-AppBuilder 구조라 번들링 없이 CSS/JS를 개
|
||||
### 5) 반복 재배포 방지 설정
|
||||
|
||||
ArgoCD 배포에서 airflow가 반복 재배포되거나 Secret이 사라지는 것을 막기 위한 설정이다.
|
||||
배경과 실측 근거는 paasup/dip-catalog#29 · #38 참고.
|
||||
배경과 실측 근거는 paasup/dip-catalog#29 · #38 · #46 참고.
|
||||
|
||||
**두 비밀값 모두 값이 아니라 Secret 이름을 넘긴다.** 값을 넘기는 방식은 #29에서 시도했다가
|
||||
재배포 경로에서 되살아났다(#46) — 콘솔의 재배포 분기가 placeholder가 남아 있는
|
||||
`default_values_yaml`을 다시 parse해 매번 새 난수를 만든다.
|
||||
|
||||
| Name | 설명 | 기본값 |
|
||||
| ---- | ---- | ------ |
|
||||
| `webserverSecretKey` | 세션 서명 키. 비우면 차트가 렌더할 때마다 난수를 만들어 webserver가 계속 롤링되고 웹 세션이 끊긴다 | `~` |
|
||||
| `fernetKeySecretName` | fernet key Secret 이름. 비우면 차트가 `pre-install` 훅으로 Secret을 만드는데, 변경이 없는 sync에서 삭제만 되고 재생성되지 않는다 | `~` |
|
||||
| `webserverSecretKeySecretName` | 세션 서명 키 Secret 이름(키는 `webserver-secret-key`). 비우면 차트가 렌더할 때마다 난수를 만들어 webserver가 계속 롤링되고 웹 세션이 끊긴다 | `~` |
|
||||
| `fernetKeySecretName` | fernet key Secret 이름(키는 `fernet-key`). 비우면 차트가 `pre-install` 훅으로 Secret을 만드는데, 변경이 없는 sync에서 삭제만 되고 재생성되지 않는다 | `~` |
|
||||
| `migrateDatabaseJob.ttlSecondsAfterFinished` | `useHelmHooks: false`와 같이 두면 TTL 삭제 ↔ selfHeal 재생성 루프가 생긴다. `~`로 끈다 | `300` |
|
||||
|
||||
- dip-values.yaml
|
||||
``` yaml
|
||||
webserverSecretKey: "$WEBSERVER_SECRET_KEY"
|
||||
webserverSecretKeySecretName: "$WEBSERVER_SECRET_KEY_SECRET"
|
||||
fernetKeySecretName: "$FERNET_KEY_SECRET"
|
||||
|
||||
migrateDatabaseJob:
|
||||
useHelmHooks: false
|
||||
ttlSecondsAfterFinished: ~
|
||||
```
|
||||
- `$WEBSERVER_SECRET_KEY`와 `$FERNET_KEY_SECRET`는 placeholder다. dip-console-api가 배포
|
||||
시점에 각각 난수 키와 Secret 이름으로 치환한다
|
||||
(`catalogs/catalogtype/catalog_airflow.go`의 `DeployPreInstall`).
|
||||
- `$WEBSERVER_SECRET_KEY_SECRET`와 `$FERNET_KEY_SECRET`는 placeholder다. dip-console-api가
|
||||
배포 시점에 Secret을 보장하고 각각 그 이름으로 치환한다
|
||||
(`catalogs/catalogtype/catalog_airflow.go`의 `DeployPreInstall`). Secret이 이미 있으면
|
||||
값을 건드리지 않으므로, 재배포해도 같은 이름으로 치환되고 렌더가 안정적이다.
|
||||
**카탈로그와 dip-console-api를 함께 반영해야 한다** — 한쪽만 반영하면 placeholder 문자열이
|
||||
그대로 값이 되거나 아무 일도 일어나지 않는다.
|
||||
그대로 Secret 이름이 되거나 아무 일도 일어나지 않는다.
|
||||
- **이름을 넘기는 것이 값을 고정하는 것보다 강하다.** `*SecretName`이 설정되면 차트의 Secret
|
||||
템플릿이 `{{- if not .Values.<key>SecretName }}` 가드로 비고, `checksum/` 애노테이션이
|
||||
해싱하는 대상이 상수가 된다 — Deployment spec이 애초에 키 값에 의존하지 않게 되므로
|
||||
앞으로 어떤 이유로 키가 바뀌어도 롤링이 발생하지 않는다.
|
||||
- 같은 내용을 `manifests/applicationset/airflow/1.16.0/dip-values.yaml`(`---` 뒤 두 번째
|
||||
YAML 문서)에도 반영한다.
|
||||
- 이미 배포된 테넌트는 **재배포해야 적용된다.** fernet key는 재배포해도 기존 Secret을 그대로
|
||||
인수하므로 Connection·Variable은 유지된다. webserver 세션은 끊겨 다시 로그인해야 한다.
|
||||
- 이미 배포된 테넌트는 **재배포해야 적용된다.** 두 Secret 모두 기존 것을 그대로 인수하므로
|
||||
fernet의 Connection·Variable과 webserver 세션이 유지된다.
|
||||
- **마이그레이션 시 ArgoCD prune 주의** — 차트가 만들던 `<릴리스명>-webserver-secret-key`는
|
||||
`argocd.argoproj.io/tracking-id` 애노테이션이 붙은 추적 대상이다. 차트가 이 Secret을 더 이상
|
||||
렌더하지 않는 순간 ArgoCD는 "소스에서 사라졌다"고 보고 `prune: true`면 삭제한다. 콘솔이
|
||||
같은 이름으로 인수하되 `argocd.argoproj.io/tracking-id`와 `app.kubernetes.io/instance`를
|
||||
반드시 벗겨내야 한다.
|
||||
|
||||
- **helm으로 직접 배포할 때**는 dip-console-api를 거치지 않으므로 두 값을 직접 넣는다.
|
||||
- **helm으로 직접 배포할 때**는 dip-console-api를 거치지 않으므로 두 Secret을 직접 만든다.
|
||||
**키 이름이 정해져 있다** — 차트가 `secretKeyRef`로 하드코딩해 읽는다(`_helpers.yaml`).
|
||||
``` sh
|
||||
# fernet key Secret 생성 (키 이름은 반드시 fernet-key)
|
||||
kubectl create secret generic airflow-fernet-key -n airflow \
|
||||
--from-literal=fernet-key="$(python3 -c 'import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())')"
|
||||
gen() { python3 -c "import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())"; }
|
||||
|
||||
# webserver secret key 값 생성
|
||||
python3 -c "import os,base64; print(base64.urlsafe_b64encode(os.urandom(32)).decode())"
|
||||
# fernet key (키 이름은 반드시 fernet-key)
|
||||
kubectl create secret generic airflow-fernet-key -n airflow \
|
||||
--from-literal=fernet-key="$(gen)"
|
||||
|
||||
# webserver 세션 서명 키 (키 이름은 반드시 webserver-secret-key)
|
||||
kubectl create secret generic airflow-webserver-secret-key -n airflow \
|
||||
--from-literal=webserver-secret-key="$(gen)"
|
||||
```
|
||||
``` yaml
|
||||
webserverSecretKey: "<위에서 생성한 값>"
|
||||
webserverSecretKeySecretName: "airflow-webserver-secret-key"
|
||||
fernetKeySecretName: "airflow-fernet-key"
|
||||
```
|
||||
- 참고: `<릴리스명>-redis-password` · `<릴리스명>-broker-url`도 같은 `pre-install` 훅이라
|
||||
sync에서 사라진다. `executor: "KubernetesExecutor"`인 현재는 참조하는 워크로드가 없어
|
||||
무해하다(다음 배포 때 자동으로 다시 생긴다). CeleryExecutor로 바꾼다면 차트가 제공하는
|
||||
`redis.passwordSecretName` · `data.brokerUrlSecretName`으로 위 5.2와 같게 처리한다 —
|
||||
`redis.passwordSecretName` · `data.brokerUrlSecretName`으로 이 절과 같게 처리한다 —
|
||||
`broker-url`은 redis 비밀번호를 DSN에 포함하므로 두 Secret을 함께 생성해야 한다.
|
||||
|
||||
@@ -63,14 +63,16 @@ dags:
|
||||
- name: GIT_SSL_NO_VERIFY
|
||||
value: "true"
|
||||
|
||||
# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다
|
||||
# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall).
|
||||
#
|
||||
# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template
|
||||
# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또
|
||||
# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다.
|
||||
# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값).
|
||||
webserverSecretKey: "$WEBSERVER_SECRET_KEY"
|
||||
# webserver 세션 서명 키도 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에
|
||||
# <릴리스명>-webserver-secret-key Secret 을 보장하고 이 자리를 그 이름으로 치환한다.
|
||||
# 값으로 넘기면(paasup/dip-catalog#29) 신규 배포는 고정되지만 재배포 경로에서 되살아난다 —
|
||||
# 콘솔의 재배포 분기가 이미 치환된 values 가 아니라 placeholder 가 남아 있는
|
||||
# default_values_yaml 을 다시 parse 해서 매번 새 난수를 만든다 (paasup/dip-catalog#46 실측:
|
||||
# 재배포 3회에 webserver ReplicaSet 3개, 다른 체크섬은 전부 같고 이것만 달랐다).
|
||||
# 이름을 넘기면 Secret 템플릿이 `if not .Values.webserverSecretKeySecretName` 가드로 비어
|
||||
# 체크섬이 키 값과 무관한 상수가 된다 — 앞으로 키가 바뀌어도 롤링이 발생하지 않는다.
|
||||
# 이름만 넘기므로 키가 tenant 레포(git)에 평문으로 남지 않는다.
|
||||
webserverSecretKeySecretName: "$WEBSERVER_SECRET_KEY_SECRET"
|
||||
|
||||
# fernet key 는 값이 아니라 Secret 이름만 넘긴다 — dip-console-api 가 배포 시점에
|
||||
# <릴리스명>-fernet-key Secret 을 만들고 이 자리를 그 이름으로 치환한다.
|
||||
|
||||
Reference in New Issue
Block a user