airflow applicationset: dip-values / dip-questions 추가
flowise/6.0.0 의 dip-values.yaml + dip-questions.yaml 스키마를 airflow 에 적용했다.
doc1 은 cnpg-cluster(airflow-db), doc2 는 airflow 본체다.
dip-values.yaml
- bootstrap.initdb 의 database/owner 는 airflow-db-values.yaml 과 맞춘 airflow.
- databases[] 도 airflow/airflow. 차트 기본값인 appdb/appuser 를 쓰면 appuser
롤이 생성되지 않아 Database CR reconcile 이 실패한다.
- bootstrap.initdb 에는 ensure/reclaimPolicy 를 넣지 않았다. cnpg-cluster 의
cluster.yaml 이 읽지 않는 databases[] 전용 키다.
- postgresql.enabled: false. 내장 bitnami 대신 syncWave 0 의 cnpg 를 쓴다.
- metadataConnection.host 는 "{{ .Name }}-airflow-db-rw". dip 배포는 cnpg
릴리스명에 테넌트 접두사를 붙여 나간다(관측: instance=demo01-air-airflow-db).
flowise 의 externalPostgresql.host 와 같은 규칙이다.
dip-questions.yaml
- git-sync 는 GIT_SYNC_*/GITSYNC_* 네 키를 모두 선언한다. 차트가 네 개를 각각
secretKeyRef 로 잡아서 하나라도 없으면 파드가 기동되지 않는다.
- connection 기본값 호스트는 $CATALOG_NAME-airflow-db-rw.$CATALOG_NAME.
차트가 data.metadataSecretName 의 connection 키를
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 에 그대로 주입하므로 이 값이 유일한 실효 값이다.
두 파일의 토큰 형식 차이는 의도한 것이다 — dip-questions 는 $CATALOG_NAME,
dip-values 는 {{ .Name }} 가 각 파일의 기존 관례다.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,57 @@
|
||||
questions:
|
||||
# --- DAG git-sync ---
|
||||
- variable: "$dags.gitSync.repo"
|
||||
label: Git Repo URL
|
||||
type: string
|
||||
required: true
|
||||
default: "https://git-url/org/repo.git"
|
||||
- variable: infisical.GIT_SYNC_USERNAME
|
||||
label: Git username
|
||||
type: string
|
||||
required: true
|
||||
default: ""
|
||||
- variable: infisical.GIT_SYNC_PASSWORD
|
||||
label: Git password
|
||||
type: password
|
||||
required: true
|
||||
default: ""
|
||||
# git-sync v4 는 GITSYNC_* 를, 차트는 두 이름 모두를 secretKeyRef 로 참조한다.
|
||||
# 네 키가 모두 없으면 scheduler/webserver 파드가 기동되지 않는다.
|
||||
- variable: infisical.GITSYNC_USERNAME
|
||||
label: Git username
|
||||
type: hidden
|
||||
default: "${infisical.GIT_SYNC_USERNAME}"
|
||||
- variable: infisical.GITSYNC_PASSWORD
|
||||
label: Git password
|
||||
type: hidden
|
||||
default: "${infisical.GIT_SYNC_PASSWORD}"
|
||||
|
||||
# --- Web admin ---
|
||||
- variable: "$webserver.defaultUser.password"
|
||||
label: Web admin password
|
||||
type: password
|
||||
required: true
|
||||
default: ""
|
||||
|
||||
# --- cnpg-cluster(airflow-db) 자격증명 ---
|
||||
# bootstrap.initdb.secretName 이 참조하는 시크릿. cnpg 는 username/password 키를 요구한다
|
||||
# (kubernetes.io/basic-auth). 값은 doc1 의 bootstrap.initdb.owner 와 일치해야 한다.
|
||||
- variable: infisical.username
|
||||
label: DB Username
|
||||
type: hidden
|
||||
default: "airflow"
|
||||
- variable: infisical.password
|
||||
label: DB Password
|
||||
type: hidden
|
||||
default: ""
|
||||
# data.metadataSecretName 이 참조하는 같은 시크릿의 connection 키 — 전체 DSN.
|
||||
# 차트는 이 문자열을 AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 에 그대로 주입한다.
|
||||
# dip-values.yaml 의 data.metadataConnection 은 무시되므로 여기가 유일한 실효 값이다.
|
||||
#
|
||||
# 호스트에 $CATALOG_NAME 접두사가 반드시 있어야 한다. dip 배포는 cnpg 릴리스명에
|
||||
# 테넌트 접두사를 붙여 나가므로(관측: instance=demo01-air-airflow-db) 실제 서비스는
|
||||
# airflow-db-rw 가 아니라 $CATALOG_NAME-airflow-db-rw 다.
|
||||
- variable: infisical.connection
|
||||
label: postgres connection
|
||||
type: hidden
|
||||
default: "postgresql://airflow:${infisical.password}@$CATALOG_NAME-airflow-db-rw.$CATALOG_NAME:5432/airflow?sslmode=disable"
|
||||
@@ -0,0 +1,187 @@
|
||||
instances: 1
|
||||
|
||||
postgresql:
|
||||
imageName: "docker.io/paasup/cnpg-postgresql:18.4-bci15.7-hardened-20260803"
|
||||
|
||||
parameters:
|
||||
max_connections: "200"
|
||||
shared_buffers: 256MB
|
||||
work_mem: 8MB
|
||||
maintenance_work_mem: 128MB
|
||||
effective_cache_size: 1GB
|
||||
log_timezone: Asia/Seoul
|
||||
timezone: Asia/Seoul
|
||||
|
||||
sharedPreloadLibraries:
|
||||
- pgaudit
|
||||
- pg_stat_statements
|
||||
|
||||
primaryUpdateStrategy: unsupervised
|
||||
primaryUpdateMethod: switchover
|
||||
|
||||
storage:
|
||||
size: 20Gi
|
||||
storageClass: longhorn
|
||||
|
||||
walStorage:
|
||||
enabled: true
|
||||
size: 10Gi
|
||||
storageClass: longhorn
|
||||
|
||||
resources:
|
||||
requests:
|
||||
cpu: 500m
|
||||
memory: 1Gi
|
||||
limits:
|
||||
cpu: 1000m
|
||||
memory: 2Gi
|
||||
|
||||
bootstrap:
|
||||
initdb:
|
||||
database: airflow
|
||||
owner: airflow
|
||||
secretName: "$INFISICAL_SECRET"
|
||||
encoding: UTF8
|
||||
postInitApplicationSQL: []
|
||||
|
||||
databases:
|
||||
- name: airflow
|
||||
owner: airflow
|
||||
ensure: present
|
||||
reclaimPolicy: retain
|
||||
extensions:
|
||||
- name: pg_stat_statements
|
||||
- name: pgaudit
|
||||
|
||||
enableSuperuserAccess: false
|
||||
|
||||
affinity:
|
||||
enablePodAntiAffinity: true
|
||||
podAntiAffinityType: preferred
|
||||
topologyKey: kubernetes.io/hostname
|
||||
nodeSelector: {}
|
||||
tolerations: []
|
||||
|
||||
monitoring:
|
||||
enablePodMonitor: false
|
||||
|
||||
backup:
|
||||
enabled: false
|
||||
retentionPolicy: 30d
|
||||
barmanObjectStore:
|
||||
destinationPath: ""
|
||||
endpointURL: ""
|
||||
s3Credentials:
|
||||
accessKeyId:
|
||||
name: ""
|
||||
key: ACCESS_KEY_ID
|
||||
secretAccessKey:
|
||||
name: ""
|
||||
key: ACCESS_SECRET_KEY
|
||||
|
||||
scheduledBackup:
|
||||
enabled: false
|
||||
schedule: "0 0 2 * * *"
|
||||
|
||||
pooler:
|
||||
enabled: false
|
||||
instances: 2
|
||||
type: rw
|
||||
poolMode: transaction
|
||||
---
|
||||
ingress:
|
||||
web:
|
||||
enabled: true
|
||||
annotations:
|
||||
cert-manager.io/cluster-issuer: "root-ca-issuer"
|
||||
cert-manager.io/duration: 8760h
|
||||
cert-manager.io/renew-before: 720h
|
||||
k8s.apisix.apache.org/plugin-config-name: oidc-keycloak-authz
|
||||
ingressClassName: "apisix"
|
||||
pathType: "Prefix"
|
||||
hosts:
|
||||
- name: "{{ .Name }}.{{ .Domain }}"
|
||||
tls:
|
||||
enabled: true
|
||||
secretName: "{{ .Name }}-tls-secret"
|
||||
|
||||
executor: "KubernetesExecutor"
|
||||
|
||||
config:
|
||||
core:
|
||||
executor: KubernetesExecutor
|
||||
default_timezone: kst
|
||||
logging:
|
||||
colored_console_log: "False"
|
||||
logging_level: "INFO"
|
||||
webserver:
|
||||
enable_proxy_fix: "True"
|
||||
rbac: "True"
|
||||
default_ui_timezone: kst
|
||||
|
||||
scheduler:
|
||||
replicas: 1
|
||||
|
||||
dags:
|
||||
persistence:
|
||||
enabled: true
|
||||
size: 5Gi
|
||||
storageClassName: longhorn
|
||||
accessMode: ReadWriteMany
|
||||
gitSync:
|
||||
enabled: true
|
||||
repo: "$dags.gitSync.repo"
|
||||
branch: master
|
||||
rev: HEAD
|
||||
depth: 1
|
||||
subPath: ""
|
||||
credentialsSecret: "$INFISICAL_SECRET"
|
||||
env:
|
||||
- name: GIT_SSL_NO_VERIFY
|
||||
value: "true"
|
||||
|
||||
webserver:
|
||||
defaultUser:
|
||||
enabled: true
|
||||
password: "$webserver.defaultUser.password"
|
||||
livenessProbe:
|
||||
initialDelaySeconds: 120
|
||||
readinessProbe:
|
||||
initialDelaySeconds: 120
|
||||
startupProbe:
|
||||
initialDelaySeconds: 30
|
||||
webserverConfig: |
|
||||
AUTH_ROLE_PUBLIC = 'User'
|
||||
|
||||
logs:
|
||||
persistence:
|
||||
enabled: true
|
||||
size: 5Gi
|
||||
storageClassName: longhorn
|
||||
|
||||
statsd:
|
||||
enabled: false
|
||||
|
||||
# 내장 bitnami postgresql 서브차트 대신 syncWave 0 의 cnpg-cluster(airflow-db)를 쓴다.
|
||||
postgresql:
|
||||
enabled: false
|
||||
|
||||
migrateDatabaseJob:
|
||||
useHelmHooks: false
|
||||
|
||||
data:
|
||||
# 시크릿의 connection 키(전체 DSN)를 그대로 쓴다 — 이 값이 설정되면 차트는
|
||||
# <release>-metadata 시크릿을 만들지 않는다.
|
||||
metadataSecretName: "$INFISICAL_SECRET"
|
||||
# metadataSecretName 이 있으면 접속에는 쓰이지 않지만, pgbouncer/keda 경로와
|
||||
# NOTES 출력이 참조하므로 cnpg 서비스에 맞춰 둔다.
|
||||
# 호스트 접두사는 flowise/6.0.0/dip-values.yaml 의 externalPostgresql.host 와 같은 규칙이다
|
||||
# — dip 배포에서 cnpg 릴리스명이 테넌트 접두사를 달고 나가므로 {{ .Name }} 가 필요하다.
|
||||
metadataConnection:
|
||||
user: airflow
|
||||
protocol: postgresql
|
||||
host: "{{ .Name }}-airflow-db-rw"
|
||||
port: 5432
|
||||
db: airflow
|
||||
sslmode: disable
|
||||
|
||||
Reference in New Issue
Block a user