From dbfbebb13cb2abc651a0e68a7eee4bc4d97d0881 Mon Sep 17 00:00:00 2001 From: wbsong111 Date: Thu, 5 Jun 2025 13:46:19 +0900 Subject: [PATCH] Add README.md --- charts/unitycatalog/BUILD-README.md | 51 ++++++++ charts/unitycatalog/CUSTOM-README.md | 177 ++++++++++++++++++++++++++ charts/unitycatalog/custom-value.yaml | 32 +++-- 3 files changed, 243 insertions(+), 17 deletions(-) create mode 100644 charts/unitycatalog/BUILD-README.md create mode 100644 charts/unitycatalog/CUSTOM-README.md diff --git a/charts/unitycatalog/BUILD-README.md b/charts/unitycatalog/BUILD-README.md new file mode 100644 index 0000000..1759245 --- /dev/null +++ b/charts/unitycatalog/BUILD-README.md @@ -0,0 +1,51 @@ +# Unity Catalog 버전 갱신 가이드 + +## 1. git 작업 환경 구성 + +- 서비스 카탈로그 git 다운로드 +``` +$ git clone https://github.com/paasup/dip-catalog.git +``` + +- 작업 브랜치로 체크아웃 +``` +$ git checkout -b update-unitycatalog/0.2.0 +``` + +## 2. helm 차트 버전 업데이트 + +- 본 chart는 [ray-harrison/unitycatalog](https://github.com/ray-harrison/unitycatalog)를 바탕으로 직접 제작했다. +- chart 관리는 [paasup/unitycatalog](https://github.com/paasup/unitycatalog/tree/main/helm/chart)에서 관리하고 있다. + + +## 3. git push 및 tag 추가 +- 갱신작업 진행후 commit +```sh +$ git add . +$ git commit -m "update unitycatalog/0.2.0" +``` + +- main 브랜치에 체크아웃 후 merge +```sh +$ git checkout main +$ git merge update-unitycatalog/0.2.0 +``` + +- git에 push 후 작업 브랜치 삭제 +```sh +$ git push -u origin main +$ git branch -d update-unitycatalog/0.2.0 +``` + +- git tag 추가 후 push +```sh +$ git tag unitycatalog/0.2.0 +$ git push origin unitycatalog/0.2.0 +``` + +## 4. 차트 버전 정보 +- unitycatalog/0.2.0 + - 배포를 위한 설정을 추가하였다.(ingress, private ca 적용 등) + - 서비스 배포를 위하여 custom-values.yam에 정의하였다. + - 차트의 빌드 방법과 배포 방법을 BUILD-README.md, CUSTOM-README.md 문서에 작성하였다. + diff --git a/charts/unitycatalog/CUSTOM-README.md b/charts/unitycatalog/CUSTOM-README.md new file mode 100644 index 0000000..6086be3 --- /dev/null +++ b/charts/unitycatalog/CUSTOM-README.md @@ -0,0 +1,177 @@ + +# Unity Catalog 배포 + +## 1. 배포 방법 + +- 배포 방법 + ``` sh + $ helm upgrade unitycatalog ../unitycatalog --install \ + -n unitycatalog --create-namespace \ + -f ./custom-values.yaml + ``` + + + +## 2. custom-values.yaml 설명 + +- custom-values.yaml에 정의된 값에 대한 설명이다. + +### 1) 이미지 설정 +- private 환경 배포 시에만 변경하여 사용한다. + +| Name | 설명 | 기본값 | +| ---------------------- | ------------------------------------------------------------ | ------ | +| `server.statefulset.image.repository` | 오프라인 설치 시에 설정 변경 필요. | `"paasup/unitycatalog"` | +| `server.statefulset.image.repository` | 이미지의 태그 설정. | `"0.3.0-minio-2"` | + + + +### 2) server의 pod 설정 +- unity catalog server의 tolerations, nodeSelector, affinity, 리소스를 설정한다. + +| Name | 설명 | 기본값 | +| ------------------------ | ---------------------------------- | --------- | +| `server.statefulset.tolerations` | server pod의 toleration 설정. | `[]` | +| `server.statefulset.nodeSelector` | server pod의 nodeSelector 설정. | `{}` | +| `server.statefulset.affinity` | server pod의 affinity 설정. | `{}` | +| `server.statefulset.resources` | server pod의 기본 resource 설정.| `{}` | + + + +### 3) Storage 설정 - Minio +- s3 연동 시 접속 정보를 secret으로 생성해야 한다. minio 사용 시 접속 정보는 반드시 admin 권한이 있는 사용자의 id, password를 사용한다.(access key는 사용 불가) + ``` sh + $ kubectl create -n unitycatalog secret generic minio-secret \ + --from-literal=accessKey={access key} \ + --from-literal=secretKey={secret key} + ``` +- unity catalog에서 사용할 외부 storage의 목록을 정의한다. 아래 예시는 minio를 대상으로 할 때의 설정이다. +``` yaml +storage: + credentials: + # S3 credentials for accessing the storage + # Credential secret must contain the following keys - accessKey, secretKey. + s3: + - bucketPath: s3://test + region: us-east-1 + # minio에서는 빈칸으로 설정한다. + awsRoleArn: + serviceEndpoint: https://minio.example.org + # Client secret must contain the following keys - accessKey, secretKey. + credentialsSecretName: minio-secret +``` + +### 3) Keycloak SSO 설정 +- keycloak 연동 시 접속 정보를 secret으로 생성해야 한다. +``` sh +$ kubectl create -n unitycatalog secret generic uc-sso-secret \ + --from-literal=clientId={keycloak client id} \ + --from-literal=clientSecret={keycloak client credential} +``` + +- 미리 생성할 사용자의 이름과 이메일 정보를 `auth.users`에 작성한다. 그 후 keycloak의 oidc 인증 url과 위에서 생성한 client 정보가 담긴 secret을 작성한다. +``` yaml +auth: + enabled: false + # List of users to be created in the system. Each user must contain the following keys - name, email. + users: + - name: admin + email: paasup@paasup.io + + provider: keycloak + authorizationUrl: https://keycloak.example.org/auth/realms/paasup/protocol/openid-connect/auth + + # Client secret must contain the following keys - clientId, clientSecret. + clientSecretName: uc-sso-secret +``` + + +### 5) 사설 인증서 등록 + +- keycloak, minio 등의 서비스가 사설 인증서를 사용한다면 unity catalog 서버에 허용 설정이 필요하다. 해당 설정을 위하여 `privateCA.enabeld: true` 설정 후에 인증서는 secret으로 추가하여 등록한다. +- CA 인증서가 클러스터에 `cert-manager`로 관리된다면 다음과 같이 unity catalog의 ingress에서 설정한 secret을 사용할 수 있다. + ``` yaml + privateCA: + enabled: true + secretName: "unitycatalog-tls" + ``` + +### 6) Ingress 설정 + + +#### 6.1) tls 시크릿 직접 생성 + + +- Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다. + ``` yaml + server: + ingress: + enabled: true + hosts: + - host: unitycatalog.example.org + paths: + - path: / + pathType: ImplementationSpecific + tls: + - hosts: + - unitycatalog.example.org + secretName: unitycatalog-tls + ``` + +- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다. + ``` sh + kubectl create secret tls unitycatalog-tls-secret --cert= --key= -n + ``` + + +#### 6.2) cert-manager를 이용한 자동 생성 + +- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다. +- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다. + ``` yaml + server: + ingress: + enabled: true + className: kong + annotations: + cert-manager.io/cluster-issuer: root-ca-issuer + konghq.com/https-redirect-status-code: '301' + konghq.com/protocols: https + hosts: + - host: unitycatalog.example.org + paths: + - path: / + pathType: ImplementationSpecific + tls: + - hosts: + - unitycatalog.example.org + secretName: unitycatalog-tls + ``` + +### 7) postgresql + +- subchart로 포함된 postgresql을 배포하기 위한 설정이다. +- db 정보 변경 시 `db.postgresqlConfig`와 `postgresql.auth`를 동일하게 변경해야 한다. + +``` yaml +db: + type: postgresql + postgresqlConfig: + user: uc_default_user + password: uc_default_password + database: ucdb + +postgresql: + enabled: true + auth: + username: "uc_default_user" + password: "uc_default_password" + database: "ucdb" + + persistence: + enabled: true + accessModes: + - ReadWriteOnce + size: 5Gi + storageClassName: "" +``` diff --git a/charts/unitycatalog/custom-value.yaml b/charts/unitycatalog/custom-value.yaml index 6dfa458..bdd0c7d 100644 --- a/charts/unitycatalog/custom-value.yaml +++ b/charts/unitycatalog/custom-value.yaml @@ -6,30 +6,23 @@ storage: - bucketPath: s3://test region: us-east-1 awsRoleArn: - credentialsSecretName: minio-secret serviceEndpoint: https://minio.example.org + # Client secret must contain the following keys - accessKey, secretKey. + credentialsSecretName: minio-secret auth: - enabled: true - # TODO: It is not possible to create proper admin account. This is a workaround. + enabled: false + # List of users to be created in the system. Each user must contain the following keys - name, email. users: - name: admin email: paasup@paasup.io - # List of users to be created in the system. Each user must contain the following keys - name, email. - # - name: admin - # email: test@example.com provider: keycloak - # Supported values: google, okta, keycloak, other - # other: Use this option if you want to use a custom OAuth provider. UI does not have any built-in support for this option. - authorizationUrl: https://keycloak.example.org/auth/realms/paasup/protocol/openid-connect/auth - clientSecretName: uc-sso-secret - # Client secret must contain the following keys - clientId, clientSecret. - # authorizationUrl: https://accounts.google.com/o/oauth2/auth - # tokenUrl: https://oauth2.googleapis.com/token - # clientSecretName: my-client-secret + # Client secret must contain the following keys - clientId, clientSecret. + clientSecretName: uc-sso-secret + privateCA: enabled: true secretName: "unitycatalog-tls" @@ -38,7 +31,11 @@ server: statefulset: image: repository: paasup/unitycatalog - tag: "0.3.0-s3" + tag: "0.3.0-minio-2" + resources: {} + nodeSelector: {} + tolerations: [] + affinity: {} ingress: enabled: true className: kong @@ -61,8 +58,9 @@ server: accessModes: [ "ReadWriteOnce" ] size: 100Mi storageClassName: "" - logLevel: "DEBUG" - # logLevel: "INFO" + logLevel: "INFO" + # logLevel: "DEBUG" + db: