카탈로그 앱 내장 bitnami postgresql → cnpg-cluster 전환 (1차 5개 차트)
이슈 #9에서 결정된 CloudNativePG 채택을 카탈로그 앱에 확장 적용한다. airflow/lakekeeper/mlflow/superset/flowise 5개 차트가 내장하던 bitnami postgresql 서브차트를 끄고 앱 전용 cnpg-cluster 인스턴스를 외부 DB로 쓰도록 전환했다. 5개 모두 dev 클러스터 격리 네임스페이스에서 배포 테스트로 실측 검증했다. gitea/keycloak/dnsup 는 서브차트가 아니라 공유 postgresql-ha 를 외부 참조하며 paasup/dipup 레포 관리 대상이라 제외했다 — 인수인계 문서만 추가했다. 배포 구조: - ArgoCD ApplicationSet 으로 DB(syncWave 0) → 앱(syncWave 1) 순서를 보장한다. 기존 openmetadata/victoria-metrics 관례를 따랐다. cnpg-cluster 차트는 범용 상태로 유지하고 앱별 값은 manifests/applicationset/<app>/ 에 둔다. 검증 중 발견해 함께 고친 문제: - lakekeeper: cnpg 의 -ro 는 replica 전용이라 instances:1 에서 엔드포인트가 0개다. 읽기 연결을 -r(전체 라운드로빈)로 교체했다. - airflow/superset: ingressClassName 누락 + kong 애노테이션 잔존으로 이 클러스터(apisix 전용)에서 ingress 접근이 아예 불가능했다. apisix + regex path 로 교체했다. - 배포 테스트가 PV 만 지우고 Longhorn Volume CR 을 남겨 storageScheduled 가 누적됐다(orphan 112개 ~1TB 로 배포 차단). 두 스크립트의 정리 로직을 고쳤다. 재사용 구조화: - .claude/skills/chart-to-cnpg/ 신규. 남은 4개 차트(langflow-ide, langfuse, litellm, nemo)에 같은 절차를 재사용한다. flowise 에 실제 적용해 검증했다. - 배포 테스트 공통 절차는 .claude/deploy-test-procedure.md, 환경 함정은 .claude/pitfalls.md 로 단일화하고 앱별 README 는 참조만 남겼다. 관련: #9, #14 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -16,12 +16,15 @@ DIP 카탈로그의 Helm 차트에 대한 상세한 리소스 요구사항을
|
||||
| **Workers** | 500m/1Gi → 2000m/2Gi | 1000m/2Gi → 4000m/4Gi | 2000m/4Gi → 8000m/8Gi |
|
||||
| **Webserver** | 200m/256Mi → 500m/512Mi | 500m/512Mi → 1000m/1Gi | 1000m/1Gi → 2000m/2Gi |
|
||||
| **Redis** | 100m/128Mi → 200m/256Mi | 200m/256Mi → 500m/512Mi | 500m/512Mi → 1000m/1Gi |
|
||||
| **PostgreSQL** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
|
||||
> **PostgreSQL**: 내장 서브차트 대신 전용 `cnpg-cluster` 인스턴스를 외부 DB로 사용한다
|
||||
> (`postgresql.enabled: false` + `data.metadataConnection`). 리소스/볼륨 티어는
|
||||
> `manifests/helm/cnpg-cluster/1.0.0/dip-resources-quotas.yaml` ·
|
||||
> `dip-volumes-quotas.yaml` 참고.
|
||||
|
||||
**볼륨 사이즈 권장사항:**
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **PostgreSQL Data** | 10Gi | 50Gi | 200Gi |
|
||||
| **Redis Data** | 1Gi | 5Gi | 20Gi |
|
||||
| **Logs Volume** | 5Gi | 20Gi | 100Gi |
|
||||
| **DAGs Volume** | 1Gi | 5Gi | 20Gi |
|
||||
@@ -261,12 +264,15 @@ resources: {}
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **API Server** | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi | 2000m/4Gi → 4000m/8Gi |
|
||||
| **Database** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
|
||||
> **Database**: 내장 서브차트 대신 전용 `cnpg-cluster` 인스턴스를 외부 DB로 사용한다
|
||||
> (`postgresql.enabled: false` + `externalPostgresql.*`). 리소스/볼륨 티어는
|
||||
> `manifests/helm/cnpg-cluster/1.0.0/dip-resources-quotas.yaml` ·
|
||||
> `dip-volumes-quotas.yaml` 참고.
|
||||
|
||||
**볼륨 사이즈 권장사항:**
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **Database Data** | 5Gi | 20Gi | 100Gi |
|
||||
| **Flow Storage** | 2Gi | 10Gi | 50Gi |
|
||||
|
||||
**권장 사용 시나리오:**
|
||||
@@ -295,20 +301,19 @@ worker:
|
||||
# limits:
|
||||
# cpu: 100m
|
||||
# memory: 128Mi
|
||||
# 내장 postgresql 대신 전용 cnpg-cluster 인스턴스를 외부 DB로 사용한다.
|
||||
# flowise는 postgresql.enabled: false 만으로는 부족하고 externalPostgresql.enabled: true 를
|
||||
# 함께 켜야 한다.
|
||||
postgresql:
|
||||
enabled: false
|
||||
|
||||
externalPostgresql:
|
||||
enabled: true
|
||||
primary:
|
||||
persistence:
|
||||
enabled: true
|
||||
storageClass: "longhorn"
|
||||
size: 5Gi
|
||||
resources: {}
|
||||
# limits:
|
||||
# memory: 512Mi
|
||||
# cpu: 500m
|
||||
# requests:
|
||||
# memory: 256Mi
|
||||
# cpu: 250m
|
||||
host: flowise-db-rw
|
||||
port: 5432
|
||||
username: flowise
|
||||
password: flowise
|
||||
database: flowise
|
||||
```
|
||||
|
||||
---
|
||||
@@ -830,13 +835,16 @@ postgresql:
|
||||
|----------|-------|--------|-------|
|
||||
| **Tracking Server** | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi | 2000m/4Gi → 4000m/8Gi |
|
||||
| **Run Container** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
| **PostgreSQL** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
| **MinIO** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
|
||||
> **PostgreSQL**: 내장 서브차트 대신 전용 `cnpg-cluster` 인스턴스를 외부 DB로 사용한다
|
||||
> (`postgresql.enabled: false` + `externalDatabase.*`). 리소스/볼륨 티어는
|
||||
> `manifests/helm/cnpg-cluster/1.0.0/dip-resources-quotas.yaml` ·
|
||||
> `dip-volumes-quotas.yaml` 참고.
|
||||
|
||||
**볼륨 사이즈 권장사항:**
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **PostgreSQL Data** | 5Gi | 20Gi | 100Gi |
|
||||
| **MinIO Storage** | 20Gi | 200Gi | 1Ti |
|
||||
| **Artifacts** | 10Gi | 100Gi | 500Gi |
|
||||
|
||||
@@ -851,13 +859,6 @@ tracking:
|
||||
resources: {}
|
||||
run:
|
||||
resources: {}
|
||||
|
||||
postgresql:
|
||||
primary:
|
||||
resources: {}
|
||||
persistence:
|
||||
storageClass: ""
|
||||
size: 5Gi
|
||||
```
|
||||
|
||||
|
||||
@@ -1565,13 +1566,16 @@ resources:
|
||||
| **Superset Worker** | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi | 2000m/4Gi → 4000m/8Gi |
|
||||
| **Celery Beat** | 100m/256Mi → 200m/512Mi | 200m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi |
|
||||
| **Celery Flower** | 100m/256Mi → 200m/512Mi | 200m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi |
|
||||
| **PostgreSQL** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
| **Redis** | 200m/256Mi → 500m/512Mi | 500m/512Mi → 1000m/1Gi | 1000m/1Gi → 2000m/2Gi |
|
||||
|
||||
> **PostgreSQL**: 내장 서브차트 대신 전용 `cnpg-cluster` 인스턴스를 외부 DB로 사용한다
|
||||
> (`postgresql.enabled: false` + `supersetNode.connections.db_*`). 리소스/볼륨 티어는
|
||||
> `manifests/helm/cnpg-cluster/1.0.0/dip-resources-quotas.yaml` ·
|
||||
> `dip-volumes-quotas.yaml` 참고.
|
||||
|
||||
**볼륨 사이즈 권장사항:**
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **PostgreSQL Data** | 8Gi | 50Gi | 200Gi |
|
||||
| **Redis Data** | 8Gi | 20Gi | 100Gi |
|
||||
|
||||
**권장 사용 시나리오:**
|
||||
@@ -1974,14 +1978,18 @@ metadata:
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **Lakekeeper Catalog** | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi | 2000m/4Gi → 4000m/8Gi |
|
||||
| **PostgreSQL** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
| **OpenFGA** | 200m/256Mi → 500m/512Mi | 500m/512Mi → 1000m/1Gi | 1000m/1Gi → 2000m/2Gi |
|
||||
| **OpenFGA PostgreSQL** | 250m/512Mi → 500m/1Gi | 500m/1Gi → 1000m/2Gi | 1000m/2Gi → 2000m/4Gi |
|
||||
|
||||
> **Lakekeeper PostgreSQL**: 내장 `groundhog2k/postgres` 서브차트 대신 전용 `cnpg-cluster`
|
||||
> 인스턴스를 외부 DB로 사용한다(`postgresql.enabled: false` + `externalDatabase.*`). 리소스/볼륨
|
||||
> 티어는 `manifests/helm/cnpg-cluster/1.0.0/dip-resources-quotas.yaml` ·
|
||||
> `dip-volumes-quotas.yaml` 참고. **OpenFGA PostgreSQL은 여전히 내장 bitnami 서브차트를
|
||||
> 사용한다** — 이번 전환 범위에 포함되지 않았다.
|
||||
|
||||
**볼륨 사이즈 권장사항:**
|
||||
| 컴포넌트 | Small | Medium | Large |
|
||||
|----------|-------|--------|-------|
|
||||
| **Lakekeeper PostgreSQL** | 5Gi | 20Gi | 100Gi |
|
||||
| **OpenFGA PostgreSQL** | 8Gi | 30Gi | 150Gi |
|
||||
|
||||
**권장 사용 시나리오:**
|
||||
@@ -2000,18 +2008,18 @@ catalog:
|
||||
# cpu: 500m
|
||||
# memory: 1Gi
|
||||
|
||||
# lakekeeper DB
|
||||
# lakekeeper DB — 전용 cnpg-cluster 인스턴스를 외부 DB로 사용한다
|
||||
postgresql:
|
||||
storage:
|
||||
className: ""
|
||||
requestedSize: 5Gi
|
||||
resources: {}
|
||||
# limits:
|
||||
# cpu: 500m
|
||||
# memory: 1Gi
|
||||
# requests:
|
||||
# cpu: 250m
|
||||
# memory: 512Mi
|
||||
enabled: false
|
||||
|
||||
externalDatabase:
|
||||
type: postgres
|
||||
host_read: "lakekeeper-db-r" # instances:1 에서는 -ro가 엔드포인트 0개라 -r을 쓴다
|
||||
host_write: "lakekeeper-db-rw"
|
||||
port: 5432
|
||||
database: lakekeeper
|
||||
user: lakekeeper
|
||||
password: lakekeeper
|
||||
|
||||
|
||||
openfga:
|
||||
|
||||
Reference in New Issue
Block a user