You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
309 lines
11 KiB
309 lines
11 KiB
|
|
# Superset 배포
|
|
|
|
## 1. 배포 방법
|
|
- 명령어
|
|
``` sh
|
|
$ helm upgrade superset ../superset --install \
|
|
-n superset --create-namespace \
|
|
-f ./custom-values.yaml
|
|
```
|
|
|
|
|
|
|
|
## 2. custom-values.yaml 설명
|
|
|
|
- custom-values.yaml에 정의된 값에 대한 설명이다.
|
|
|
|
### 1) 이미지 설정
|
|
- private 환경 배포시 사용한다.
|
|
- 해당 이미지 설정은 superset 서버, Celery worker, beat, flower에서 사용된다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ------------------------------------------------------------ | ------ |
|
|
| `image.repository` | 오프라인 설치 시에 설정 변경 필요. <br />paasup 설치시에는 "paasup.io/apache/superset"로 설정 | `"apachesuperset.docker.scarf.sh/apache/superset"` |
|
|
| `image.tag` | 이미지의 태그 설정. 기본값은 차트의 앱 버전으로 설정된다. | `""` |
|
|
|
|
|
|
|
|
### 2) pod 공통 설정
|
|
- pod의 수, tolerations, nodeSelector 리소스 등을 설정한다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ------------------------ | ---------------------------------- | --------- |
|
|
| `tolerations` | Superset 차트에서 배포되는 pod의 공통 toleration 설정. | `[]` |
|
|
| `nodeSelector` | Superset 차트에서 배포되는 pod의 공통 nodeSelector 설정. | `{}` |
|
|
| `resources` | Superset 차트에서 배포되는 pod의 기본 resource 설정.<br />개별 컴포넌트에 설정이 되어 있지 않을 때 사용. | `{}` |
|
|
|
|
|
|
|
|
### 3) Suerset 설정
|
|
|
|
- 아래 설정에서 Superset의 설정을 추가할 수 있다.
|
|
- SSO를 위히서는 아래 설정에 추가
|
|
|
|
#### 3.1) 배포를 위한 최소 설정
|
|
|
|
- Superset 배포 및 실행을 위해서는 다음 설정이 필요하다.
|
|
|
|
``` yaml
|
|
configOverrides:
|
|
## Superset 실행을 위해서는 SECRET_KEY를 설정해야 한다.
|
|
secret: |
|
|
SECRET_KEY = '{openssl rand -base64 42 실행 값}'
|
|
|
|
# 접속할 DB에 대한 드라이버를 별도 설치해야함.
|
|
## 4.1.0 이상 버전부터 필요한 패키지를 추가하여 설치하거나 이미지 빌드가 필요하다.
|
|
bootstrapScript: |
|
|
#!/bin/bash
|
|
pip install sqlalchemy-drill psycopg2-binary
|
|
```
|
|
|
|
#### 3.2) Keycloak SSO 설정
|
|
|
|
- Keycloak SSO 설정을 위해서는 `configOverrides.enable_oauth` 설정을 추가해야 한다.
|
|
또한 `bootstrapScript`에서 python의 `Authlib` 패키지 설치도 필요하다.
|
|
- 아래 SSO 설정을 사용하기 위해서는 `dip_api_url` 을 수정하고 dip-api와 통신이 가능 해야한다.
|
|
- `OAUTH_PROVIDERS`의 값 중 kecloak client id, secret, server_metadata_url, api_base_url의 정보를 연동할 Keycloak의 값에 맞춰 수정해야 한다.
|
|
|
|
``` yaml
|
|
configOverrides:
|
|
secret: |
|
|
SECRET_KEY = '{openssl rand -base64 42 실행 값}'
|
|
log_level: |
|
|
LOG_LEVEL = logging.INFO
|
|
enable_oauth: |
|
|
from flask_appbuilder.security.manager import (AUTH_DB, AUTH_OAUTH)
|
|
from superset.security import SupersetSecurityManager
|
|
from flask import request
|
|
|
|
import requests
|
|
import logging
|
|
|
|
class CustomSsoSecurityManager(SupersetSecurityManager):
|
|
def oauth_user_info(self, provider, response=None):
|
|
me = self.appbuilder.sm.oauth_remotes[provider].get("openid-connect/userinfo")
|
|
me.raise_for_status()
|
|
data = me.json()
|
|
|
|
logging.debug("User info from Keycloak: %s", data)
|
|
|
|
# 변수 정의
|
|
role = []
|
|
username = data.get("preferred_username", "")
|
|
host = request.host
|
|
dip_api_url = "{dip api url}" ## dip api url 수정 필요 ex) https://dip-api.example.org
|
|
# URL과 데이터 정의
|
|
url = f"{dip_api_url}/gwapi/v1/projectusers/{username}"
|
|
request_data = {"url": f"https://{host}"}
|
|
response = requests.post(url, json=request_data, headers={"Content-Type": "application/json"}, verify=False)
|
|
|
|
# 응답 출력
|
|
if response.status_code == 200:
|
|
logging.info(f"API 요청 성공: {response.status_code}, {response.text}")
|
|
role.append(response.json().get("roleName",""))
|
|
else:
|
|
logging.info(f"API 요청 실패: {response.status_code}, {response.text}")
|
|
role.append("")
|
|
|
|
return {
|
|
"username": data.get("preferred_username", ""),
|
|
"first_name": data.get("given_name", ""),
|
|
"last_name": data.get("family_name", ""),
|
|
"email": data.get("email", ""),
|
|
"role_keys": role,
|
|
}
|
|
|
|
# OIDC 설정
|
|
AUTH_TYPE = AUTH_OAUTH
|
|
AUTH_USER_REGISTRATION = True
|
|
AUTH_USER_REGISTRATION_ROLE = "Public" # 매핑되지 않은 사용자는 기본적으로 'Public'으로 설정
|
|
AUTH_ROLES_SYNC_AT_LOGIN = True
|
|
CUSTOM_SECURITY_MANAGER = CustomSsoSecurityManager # Custom Security Manager 활성화
|
|
|
|
## OIDC provider 정보 설정
|
|
OAUTH_PROVIDERS = [
|
|
{
|
|
"name": "keycloak",
|
|
"icon": "fa-key",
|
|
"token_key": "access_token",
|
|
"remote_app": {
|
|
"client_id": "superset",
|
|
"client_secret": "{keycloak client secret}",
|
|
"client_kwargs": {
|
|
"scope": "openid email profile",
|
|
'verify': False
|
|
},
|
|
'server_metadata_url': 'https://{keycloak url}/auth/realms/paasup/.well-known/openid-configuration', # keycloak url 수정 필요
|
|
'api_base_url': 'https://{keycloak url}/auth/realms/paasup/protocol/' # keycloak url 수정 필요
|
|
}
|
|
}
|
|
]
|
|
|
|
# OIDC 권한 맵핑
|
|
AUTH_ROLES_MAPPING = {
|
|
'root': ['Admin'],
|
|
'admin': ['Admin'],
|
|
'manager': ['Admin'],
|
|
'member': ['Alpha'],
|
|
}
|
|
|
|
# 접속할 DB에 대한 드라이버를 별도 설치해야함.
|
|
bootstrapScript: |
|
|
#!/bin/bash
|
|
pip install sqlalchemy-drill psycopg2-binary Authlib
|
|
```
|
|
|
|
|
|
|
|
### 4) 컴포넌트 설정
|
|
|
|
#### 4.1) Suerset 서버
|
|
|
|
- Superset의 서버에 대한 설정이다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ------------------------------------ | ------------------------------------------------------------ | ------------------------- |
|
|
| `supersetNode.replicas.replicaCount` | Superset 서버의 pod 수를 설정. | `1` |
|
|
| `supersetNode.connections` | Superset 서버에서 사용할 DB 및 Redis 연결에 대한 설정.<br />subchart의 postgresql과 redis에 설정한 값으로 설정. | `custom-values.yaml` 참고 |
|
|
| `supersetNoderesources` | Superset 서버의 resource 설정. | `{}` |
|
|
|
|
#### 4.2) Suerset worker
|
|
|
|
- Superset Worker는 비동기 쿼리 작업을 처리한다.
|
|
- 스케쥴링 작업 실행이 필요할 때 Superset Beat를 배포해야 한다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| -------------------------------------- | --------------------------------- | ------ |
|
|
| `supersetWorker.replicas.replicaCount` | Superset Worker의 pod 수를 설정. | `1` |
|
|
| `supersetWorker.resources` | Superset Worker의 resource 설정. | `{}` |
|
|
|
|
|
|
#### 4.3) Celery Beat
|
|
|
|
- Worker의 작업 스케줄러 역할을 하는 Celerry Beat에 대한 설정으로 기본은 `false`로 배포되지 않는다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ------------------------------ | ----------------------------- | ------- |
|
|
| `supersetCeleryBeat.enabled` | Celery Beat에 대함 배포 여부. | `false` |
|
|
| `supersetCeleryBeat.resources` | Celery Beat의 resource 설정. | `{}` |
|
|
|
|
|
|
#### 4.4) Celery Flower
|
|
|
|
- Celery Worker의 작업에 대한 모니터링 대시보드로 기본은 `false`로 배포되지 않는다.
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ----------------------------------- | ------------------------------ | ------- |
|
|
| `supersetCeleryFlower.enable` | Celery Flower의 배포 여부. | `false` |
|
|
| `supersetCeleryFlower.replicaCount` | Celery Flower의 pod 수를 설정. | `{}` |
|
|
| `supersetCeleryFlower.resource` | Celery Flower의 resource 설정. | `{}` |
|
|
|
|
### 5) Ingress 설정
|
|
|
|
#### 5.1) tls 시크릿 직접 생성
|
|
|
|
|
|
- Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다.
|
|
``` yaml
|
|
ingress:
|
|
enabled: true
|
|
path: /
|
|
pathType: ImplementationSpecific
|
|
hosts:
|
|
- superset.example.org
|
|
tls:
|
|
- hosts:
|
|
- superset.example.org
|
|
secretName: superset-tls-secret
|
|
```
|
|
|
|
- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.
|
|
``` sh
|
|
kubectl create secret tls superset-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
|
|
```
|
|
|
|
|
|
#### 5.2) cert-manager를 이용한 자동 생성
|
|
|
|
- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다.
|
|
- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다.
|
|
``` yaml
|
|
ingress:
|
|
enabled: true
|
|
annotations:
|
|
cert-manager.io/cluster-issuer: "selfsigned-issuer"
|
|
cert-manager.io/duration: 8760h
|
|
cert-manager.io/renew-before: 720h
|
|
path: /
|
|
pathType: ImplementationSpecific
|
|
hosts:
|
|
- superset.example.org
|
|
tls:
|
|
- hosts:
|
|
- superset.example.org
|
|
secretName: superset-tls-secret
|
|
```
|
|
|
|
### 6) postgresql
|
|
|
|
- subchart로 포함된 postgresql을 배포하기 위한 설정이다.
|
|
|
|
``` yaml
|
|
postgresql:
|
|
enabled: true
|
|
auth:
|
|
# DB의 계정 및 기본 생성되는 database를 설정한다.
|
|
username: superset
|
|
password: superset
|
|
database: superset
|
|
image:
|
|
# private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
|
|
registry: docker.io
|
|
primary:
|
|
# DB의 리소스를 설정한다.
|
|
resources:
|
|
limits: {}
|
|
requests:
|
|
memory: 256Mi
|
|
cpu: 250m
|
|
# DB에서 사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
|
|
persistence:
|
|
enabled: true
|
|
storageClass: ""
|
|
accessModes:
|
|
- ReadWriteOnce
|
|
size: 8Gi
|
|
```
|
|
|
|
|
|
|
|
### 7) redis
|
|
|
|
subchart로 포함된 reids을 배포하기 위한 설정이다.
|
|
|
|
``` yaml
|
|
redis:
|
|
enabled: true
|
|
# HA 설정을 위해서는 'replication'으로 변경이 필요하다.
|
|
architecture: standalone
|
|
# redis에서 인증애 대한 설정이다.
|
|
auth:
|
|
## 사용을 원할 시 enabled를 true로 변경한다.
|
|
enabled: false
|
|
password: superset
|
|
image:
|
|
# private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
|
|
registry: docker.io
|
|
master:
|
|
# redis의 리소스를 설정한다.
|
|
resources:
|
|
limits: {}
|
|
requests: {}
|
|
# redis에서사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
|
|
persistence:
|
|
enabled: true
|
|
storageClass: ""
|
|
size: 8Gi
|
|
```
|
|
|
|
|