39f4b9778f
`demo01-air` 에서 webserver 가 반복 롤링되고 migrations job 이 5분 주기로 재실행되던 것을 추적한 결과, 원인이 서로 다른 두 개였고 둘 다 카탈로그 기본값에서 비롯됐다 — 모든 airflow 테넌트가 해당된다. 원인 1 — webserverSecretKey 가 렌더할 때마다 바뀐다 값을 주지 않으면 차트가 템플릿에서 직접 난수를 만들고(`randAlphaNum 32`), 그 Secret 이 webserver·worker Deployment 의 `checksum/webserver-secret-key` 애노테이션에 물려 있어 렌더할 때마다 Deployment spec 이 바뀐다. 캐시된 매니페스트를 쓰는 reconcile 로는 일어나지 않지만 일반 refresh 만으로도 일어난다(실측). 차트 안에서는 못 고친다. `lookup` 재사용은 ArgoCD repo-server 가 클러스터 접근 없이 클라이언트 렌더를 하므로 항상 빈 값이다(클러스터에 Secret 이 실재하는데도 빈 값인 것을 확인). 릴리스명·네임스페이스 기반 결정적 파생은 렌더는 안정되지만 파생 입력이 전부 공개 정보라 세션 서명 키를 예측할 수 있어 부적합하다. 값이 차트 바깥에서 와야 한다. 그래서 `$WEBSERVER_SECRET_KEY` placeholder 를 두고, 배포 시점에 dip-console-api 가 난수로 치환한다(`catalogs/catalogtype/catalog_airflow.go` 의 `DeployPreInstall`). 치환된 values 가 tenant 레포에 저장되므로 이후 렌더는 그 고정값을 쓴다. 공용 `catalog_type_base.go` 가 아니라 airflow 전용 훅에 둔다. 원인 2 — migrations job 이 TTL 삭제 ↔ selfHeal 재생성 루프에 빠진다 `useHelmHooks: false`(업스트림이 ArgoCD 환경에 권고) 로 Job 이 ArgoCD 추적 리소스가 됐는데 차트 기본값 `ttlSecondsAfterFinished: 300` 이 그대로 남아 있었다. 완료 300초 뒤 TTL 컨트롤러가 Job 을 지우면 ArgoCD 가 OutOfSync 로 보고 selfHeal 이 다시 만든다. 템플릿에서 TTL 은 `useHelmHooks` 와 무관하게 항상 렌더되고 `kindIs "invalid"` 일 때만 빠지므로, `~` 로 꺼서 필드 자체를 없앤다. 대신 완료된 Job 객체가 남는다. 반영 위치가 2곳이다 — helm 카탈로그와 applicationset(`---` 뒤 두 번째 문서) 양쪽. 한쪽만 고치면 배포 경로에 따라 증상이 남는다. 주의 — dip-console-api 와 짝이다. 한쪽만 머지되면 placeholder 문자열이 그대로 키가 되거나(카탈로그만) 아무 일도 일어나지 않는다(console 만). 이미 배포된 테넌트는 재배포해야 적용된다. fernet key 는 같은 구조지만 체크섬에 물려 있지 않아 증상·마이그레이션 경로가 다르다 — 별건(#38)으로 둔다. Refs #29 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
217 lines
5.9 KiB
YAML
217 lines
5.9 KiB
YAML
instances: 1
|
|
|
|
postgresql:
|
|
imageName: "docker.io/paasup/cnpg-postgresql:18.4-bci15.7-hardened-20260803"
|
|
|
|
parameters:
|
|
max_connections: "200"
|
|
shared_buffers: 256MB
|
|
work_mem: 8MB
|
|
maintenance_work_mem: 128MB
|
|
effective_cache_size: 1GB
|
|
log_timezone: Asia/Seoul
|
|
timezone: Asia/Seoul
|
|
|
|
sharedPreloadLibraries:
|
|
- pgaudit
|
|
- pg_stat_statements
|
|
|
|
primaryUpdateStrategy: unsupervised
|
|
primaryUpdateMethod: switchover
|
|
|
|
storage:
|
|
size: 20Gi
|
|
storageClass: longhorn
|
|
|
|
walStorage:
|
|
enabled: true
|
|
size: 10Gi
|
|
storageClass: longhorn
|
|
|
|
resources:
|
|
requests:
|
|
cpu: 500m
|
|
memory: 1Gi
|
|
limits:
|
|
cpu: 1000m
|
|
memory: 2Gi
|
|
|
|
bootstrap:
|
|
initdb:
|
|
database: airflow
|
|
owner: airflow
|
|
secretName: "$INFISICAL_SECRET"
|
|
encoding: UTF8
|
|
postInitApplicationSQL: []
|
|
|
|
databases:
|
|
- name: airflow
|
|
owner: airflow
|
|
ensure: present
|
|
reclaimPolicy: retain
|
|
extensions:
|
|
- name: pg_stat_statements
|
|
- name: pgaudit
|
|
|
|
enableSuperuserAccess: false
|
|
|
|
affinity:
|
|
enablePodAntiAffinity: true
|
|
podAntiAffinityType: preferred
|
|
topologyKey: kubernetes.io/hostname
|
|
nodeSelector: {}
|
|
tolerations: []
|
|
|
|
monitoring:
|
|
enablePodMonitor: false
|
|
|
|
backup:
|
|
enabled: false
|
|
retentionPolicy: 30d
|
|
barmanObjectStore:
|
|
destinationPath: ""
|
|
endpointURL: ""
|
|
s3Credentials:
|
|
accessKeyId:
|
|
name: ""
|
|
key: ACCESS_KEY_ID
|
|
secretAccessKey:
|
|
name: ""
|
|
key: ACCESS_SECRET_KEY
|
|
|
|
scheduledBackup:
|
|
enabled: false
|
|
schedule: "0 0 2 * * *"
|
|
|
|
pooler:
|
|
enabled: false
|
|
instances: 2
|
|
type: rw
|
|
poolMode: transaction
|
|
---
|
|
ingress:
|
|
web:
|
|
enabled: true
|
|
annotations:
|
|
cert-manager.io/cluster-issuer: "root-ca-issuer"
|
|
cert-manager.io/duration: 8760h
|
|
cert-manager.io/renew-before: 720h
|
|
k8s.apisix.apache.org/plugin-config-name: oidc-keycloak-authz
|
|
ingressClassName: "apisix"
|
|
pathType: "Prefix"
|
|
hosts:
|
|
- name: "{{ .Name }}.{{ .Domain }}"
|
|
tls:
|
|
enabled: true
|
|
secretName: "{{ .Name }}-tls-secret"
|
|
|
|
# OIDC 인증에서 제외할 경로. 위 plugin-config-name(oidc-keycloak-authz)이 걸린 웹 Ingress와
|
|
# 별개로, 애노테이션 없는 Ingress를 하나 더 만들어 이 경로들을 인증 없이 통과시킨다
|
|
# (templates/webserver/webserver-ingress-static.yaml — PaaSup 추가 템플릿).
|
|
#
|
|
# 세션이 없을 때 /static 자원 수십 개가 동시에 OIDC 로그인 플로우를 시작하면서 state가
|
|
# 서로 덮어써져 500이 나는 문제를 막는다 (paasup/dip-catalog#24).
|
|
# Airflow의 /static은 공개 CSS/JS라 인증 제외에 보안상 문제가 없다.
|
|
#
|
|
# 비우면(또는 키를 지우면) 이 Ingress는 렌더되지 않는다 — 향후 dip-console이 같은
|
|
# 리소스를 차트 밖에서 생성하게 되면 여기를 비워서 중복을 없앤다.
|
|
dip:
|
|
unauthenticatedPaths:
|
|
- /static
|
|
|
|
executor: "KubernetesExecutor"
|
|
|
|
config:
|
|
core:
|
|
executor: KubernetesExecutor
|
|
default_timezone: kst
|
|
logging:
|
|
colored_console_log: "False"
|
|
logging_level: "INFO"
|
|
webserver:
|
|
enable_proxy_fix: "True"
|
|
rbac: "True"
|
|
default_ui_timezone: kst
|
|
|
|
scheduler:
|
|
replicas: 1
|
|
|
|
dags:
|
|
persistence:
|
|
enabled: true
|
|
size: 5Gi
|
|
storageClassName: longhorn
|
|
accessMode: ReadWriteMany
|
|
gitSync:
|
|
enabled: true
|
|
repo: "$dags.gitSync.repo"
|
|
branch: master
|
|
rev: HEAD
|
|
depth: 1
|
|
subPath: ""
|
|
credentialsSecret: "$INFISICAL_SECRET"
|
|
env:
|
|
- name: GIT_SSL_NO_VERIFY
|
|
value: "true"
|
|
|
|
# webserver 세션 서명 키. 배포 시점에 dip-console-api 가 난수로 치환한다
|
|
# (catalogs/catalogtype/catalog_airflow.go 의 DeployPreInstall).
|
|
#
|
|
# 이 값을 비워두면 차트가 템플릿에서 직접 만드는데(`randAlphaNum 32`), 그러면 helm template
|
|
# 이 렌더할 때마다 다른 결과를 내고 ArgoCD 가 이를 drift 로 보고 sync 하면 그 순간 또
|
|
# 달라져 수렴하지 않는다 — 실측에서 webserver 가 반복 재배포되고 웹 세션이 끊겼다.
|
|
# 차트 안에서는 못 고친다(ArgoCD repo-server 는 클러스터 접근이 없어 helm lookup 이 빈 값).
|
|
webserverSecretKey: "$WEBSERVER_SECRET_KEY"
|
|
|
|
webserver:
|
|
defaultUser:
|
|
enabled: true
|
|
password: "$webserver.defaultUser.password"
|
|
livenessProbe:
|
|
initialDelaySeconds: 120
|
|
readinessProbe:
|
|
initialDelaySeconds: 120
|
|
startupProbe:
|
|
initialDelaySeconds: 30
|
|
webserverConfig: |
|
|
AUTH_ROLE_PUBLIC = 'User'
|
|
|
|
logs:
|
|
persistence:
|
|
enabled: true
|
|
size: 5Gi
|
|
storageClassName: longhorn
|
|
|
|
statsd:
|
|
enabled: false
|
|
|
|
# 내장 bitnami postgresql 서브차트 대신 syncWave 0 의 cnpg-cluster(airflow-db)를 쓴다.
|
|
postgresql:
|
|
enabled: false
|
|
|
|
migrateDatabaseJob:
|
|
# helm hook 을 끄면 Job 이 ArgoCD 가 추적하는 일반 리소스가 된다. 이 상태에서 차트 기본값인
|
|
# ttlSecondsAfterFinished: 300 이 남아 있으면, 완료 300초 뒤 TTL 컨트롤러가 Job 을 지우고
|
|
# ArgoCD 는 그것을 OutOfSync 로 보고 selfHeal 로 다시 만든다 — 5분 주기 재실행 루프.
|
|
# 리소스 수명은 ArgoCD 가 관리하므로 TTL 을 끈다(null 이면 필드 자체가 렌더되지 않는다).
|
|
# 대신 완료된 Job 객체가 네임스페이스에 남는다.
|
|
useHelmHooks: false
|
|
ttlSecondsAfterFinished: ~
|
|
|
|
data:
|
|
# 시크릿의 connection 키(전체 DSN)를 그대로 쓴다 — 이 값이 설정되면 차트는
|
|
# <release>-metadata 시크릿을 만들지 않는다.
|
|
metadataSecretName: "$INFISICAL_SECRET"
|
|
# metadataSecretName 이 있으면 접속에는 쓰이지 않지만, pgbouncer/keda 경로와
|
|
# NOTES 출력이 참조하므로 cnpg 서비스에 맞춰 둔다.
|
|
# 호스트 접두사는 flowise/6.0.0/dip-values.yaml 의 externalPostgresql.host 와 같은 규칙이다
|
|
# — dip 배포에서 cnpg 릴리스명이 테넌트 접두사를 달고 나가므로 {{ .Name }} 가 필요하다.
|
|
metadataConnection:
|
|
user: airflow
|
|
protocol: postgresql
|
|
host: "{{ .Name }}-airflow-db-rw"
|
|
port: 5432
|
|
db: airflow
|
|
sslmode: disable
|
|
|