service-catalog/manifests/helm/superset/0.13.5/CUSTOM-README.md

# Superset 배포 

## 1. 배포 방법
- 명령어
  ``` sh
  $ helm upgrade superset ../superset --install \
   -n superset --create-namespace \
   -f ./custom-values.yaml
  ```



## 2. custom-values.yaml 설명

- custom-values.yaml에 정의된 값에 대한 설명이다.

### 1) 이미지 설정
- private 환경 배포시 사용한다.
- 해당 이미지 설정은 superset 서버, Celery worker, beat, flower에서 사용된다.

| Name                   | 설명                                                         | 기본값 |
| ---------------------- | ------------------------------------------------------------ | ------ |
| `image.repository` | 오프라인 설치 시에 설정 변경 필요. <br />paasup 설치시에는 "paasup.io/apache/superset"로 설정 | `"apachesuperset.docker.scarf.sh/apache/superset"` |
| `image.tag` | 이미지의 태그 설정. 기본값은 차트의 앱 버전으로  설정된다. | `""`  |



### 2) pod 공통 설정
- pod의 수, tolerations, nodeSelector 리소스 등을 설정한다.

| Name                     | 설명                               | 기본값    |
| ------------------------ | ---------------------------------- | --------- |
| `tolerations`              | Superset 차트에서 배포되는  pod의 공통 toleration 설정. | `[]`      |
| `nodeSelector`             | Superset 차트에서 배포되는  pod의 공통 nodeSelector 설정. | `{}`      |
| `resources`    | Superset 차트에서 배포되는  pod의 기본 resource 설정.<br />개별 컴포넌트에 설정이 되어 있지 않을 때 사용. | `{}` |



### 3) Suerset 설정

- 아래 설정에서 Superset의 설정을 추가할 수 있다.
- SSO를 위히서는 아래 설정에 추가

#### 3.1) 배포를 위한 최소 설정

- Superset 배포 및 실행을 위해서는 다음 설정이 필요하다.

``` yaml
configOverrides: 
  ## Superset 실행을 위해서는 SECRET_KEY를 설정해야 한다.
  secret: |
    SECRET_KEY = '{openssl rand -base64 42 실행 값}'

# 접속할 DB에 대한 드라이버를 별도 설치해야함.
## 4.1.0 이상 버전부터 필요한 패키지를 추가하여 설치하거나 이미지 빌드가 필요하다.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary
```

#### 3.2) Keycloak SSO 설정

- Keycloak SSO 설정을 위해서는 `configOverrides.enable_oauth` 설정을 추가해야 한다.
  또한 `bootstrapScript`에서 python의 `Authlib` 패키지 설치도 필요하다.
- 아래 SSO 설정을 사용하기 위해서는 `dip_api_url` 을 수정하고 dip-api와 통신이 가능 해야한다.
- `OAUTH_PROVIDERS`의 값 중 kecloak client id, secret, server_metadata_url, api_base_url의 정보를 연동할 Keycloak의 값에 맞춰 수정해야 한다.

``` yaml
configOverrides: 
  secret: |
   SECRET_KEY = '{openssl rand -base64 42 실행 값}'
  log_level: |
   LOG_LEVEL = logging.INFO
  enable_oauth: |
    from flask_appbuilder.security.manager import (AUTH_DB, AUTH_OAUTH)
    from superset.security import SupersetSecurityManager
    from flask import request

    import requests
    import logging

    class CustomSsoSecurityManager(SupersetSecurityManager):
        def oauth_user_info(self, provider, response=None): 
            me = self.appbuilder.sm.oauth_remotes[provider].get("openid-connect/userinfo")
            me.raise_for_status()
            data = me.json()

            logging.debug("User info from Keycloak: %s", data)

            # 변수 정의
            role = []
            username = data.get("preferred_username", "")
            host = request.host
            dip_api_url =  "{dip api url}"    ## dip api url 수정 필요 ex) https://dip-api.example.org
            # URL과 데이터 정의
            url = f"{dip_api_url}/gwapi/v1/projectusers/{username}"
            request_data = {"url": f"https://{host}"}
            response = requests.post(url, json=request_data, headers={"Content-Type": "application/json"}, verify=False)

            # 응답 출력
            if response.status_code == 200:
                logging.info(f"API 요청 성공: {response.status_code}, {response.text}")
                role.append(response.json().get("roleName",""))
            else:
                logging.info(f"API 요청 실패: {response.status_code}, {response.text}")
                role.append("")

            return {
                "username": data.get("preferred_username", ""),
                "first_name": data.get("given_name", ""),
                "last_name": data.get("family_name", ""),
                "email": data.get("email", ""),
                "role_keys": role,
            }

    # OIDC 설정
    AUTH_TYPE = AUTH_OAUTH
    AUTH_USER_REGISTRATION = True
    AUTH_USER_REGISTRATION_ROLE = "Public"  # 매핑되지 않은 사용자는 기본적으로 'Public'으로 설정
    AUTH_ROLES_SYNC_AT_LOGIN = True
    CUSTOM_SECURITY_MANAGER = CustomSsoSecurityManager # Custom Security Manager 활성화

    ## OIDC provider 정보 설정
    OAUTH_PROVIDERS = [
        {
            "name": "keycloak",
            "icon": "fa-key",
            "token_key": "access_token",
            "remote_app": {
                "client_id": "superset",
                "client_secret": "{keycloak client secret}",
                "client_kwargs": {
                  "scope": "openid email profile",
                  'verify': False
                },
                'server_metadata_url': 'https://{keycloak url}/auth/realms/paasup/.well-known/openid-configuration', # keycloak url 수정 필요
                'api_base_url': 'https://{keycloak url}/auth/realms/paasup/protocol/'  # keycloak url 수정 필요
            }
        }
    ]

    # OIDC 권한 맵핑
    AUTH_ROLES_MAPPING = {
    'root': ['Admin'],
    'admin': ['Admin'],
    'manager': ['Admin'],
    'member': ['Alpha'],
    }
    
# 접속할 DB에 대한 드라이버를 별도 설치해야함.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary Authlib
```



### 4) 컴포넌트 설정

#### 4.1) Suerset 서버

- Superset의 서버에 대한 설정이다.

| Name                                 | 설명                                                         | 기본값                    |
| ------------------------------------ | ------------------------------------------------------------ | ------------------------- |
| `supersetNode.replicas.replicaCount` | Superset  서버의 pod 수를 설정.                              | `1`                       |
| `supersetNode.connections`           | Superset 서버에서 사용할 DB 및 Redis 연결에 대한 설정.<br />subchart의 postgresql과 redis에 설정한 값으로 설정. | `custom-values.yaml` 참고 |
| `supersetNoderesources`              | Superset  서버의 resource 설정.                              | `{}`                      |

#### 4.2) Suerset worker

- Superset Worker는 비동기 쿼리 작업을 처리한다. 
- 스케쥴링 작업 실행이 필요할 때 Superset Beat를 배포해야 한다.

| Name                                   | 설명                              | 기본값 |
| -------------------------------------- | --------------------------------- | ------ |
| `supersetWorker.replicas.replicaCount` | Superset  Worker의 pod 수를 설정. | `1`    |
| `supersetWorker.resources`             | Superset  Worker의 resource 설정. | `{}`   |


#### 4.3) Celery Beat

- Worker의 작업 스케줄러 역할을 하는 Celerry Beat에 대한 설정으로 기본은 `false`로 배포되지 않는다.

| Name                           | 설명                          | 기본값  |
| ------------------------------ | ----------------------------- | ------- |
| `supersetCeleryBeat.enabled`   | Celery Beat에 대함 배포 여부. | `false` |
| `supersetCeleryBeat.resources` | Celery Beat의 resource 설정.  | `{}`    |


#### 4.4) Celery Flower

- Celery Worker의 작업에 대한 모니터링 대시보드로 기본은 `false`로 배포되지 않는다.

| Name                                | 설명                           | 기본값  |
| ----------------------------------- | ------------------------------ | ------- |
| `supersetCeleryFlower.enable`       | Celery Flower의 배포 여부.     | `false` |
| `supersetCeleryFlower.replicaCount` | Celery Flower의 pod 수를 설정. | `{}`    |
| `supersetCeleryFlower.resource`     | Celery Flower의 resource 설정. | `{}`    |

### 5) Ingress 설정

#### 5.1) tls 시크릿 직접 생성


- Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다.
  ``` yaml
  ingress:
    enabled: true
    path: /
    pathType: ImplementationSpecific
    hosts:
    - superset.example.org
    tls: 
    -  hosts:
       - superset.example.org
       secretName: superset-tls-secret
  ```
  
- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.
  ``` sh
  kubectl create secret tls superset-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
  ```


#### 5.2) cert-manager를 이용한 자동 생성

- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다.
- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다.
  ``` yaml
  ingress:
    enabled: true
    annotations: 
      cert-manager.io/cluster-issuer: "selfsigned-issuer" 
      cert-manager.io/duration: 8760h  
      cert-manager.io/renew-before: 720h
    path: /
    pathType: ImplementationSpecific
    hosts:
    - superset.example.org
    tls: 
    -  hosts:
       - superset.example.org
       secretName: superset-tls-secret
  ```

### 6) postgresql

- 내장 bitnami postgresql 서브차트 대신 `cnpg-cluster`(전용 인스턴스)를 외부 DB로 사용한다.
- **사전 조건**: `cloudnative-pg` operator가 클러스터에 먼저 설치되어 있어야 한다.
- **배포 순서**
  ``` sh
  kubectl create secret generic superset-db-app-secret \
    --from-literal=username=superset --from-literal=password=superset -n superset

  helm upgrade superset-db manifests/helm/cnpg-cluster/1.0.0 \
    -f manifests/helm/cnpg-cluster/1.0.0/custom-values.yaml \
    -f manifests/applicationset/superset/0.13.5/superset-db-values.yaml \
    --install -n superset

  helm upgrade superset ../superset --install -n superset --create-namespace \
    -f ./custom-values.yaml
  ```
- ArgoCD로 배포한다면 `manifests/applicationset/superset/0.13.5/`의 ApplicationSet을 쓴다 —
  `superset-db`(syncWave 0) → `superset`(syncWave 1) 순서로 자동 배포된다. 자세한 내용은
  해당 디렉토리의 `README.md` 참고.
- custom-values.yaml
  ``` yaml
  postgresql:
    enabled: false

  supersetNode:
    connections:
      db_host: 'superset-db-rw'   # cnpg-cluster 릴리스명이 superset-db일 때의 rw 서비스명
      db_port: "5432"
      db_user: superset
      db_pass: superset            # 위 시크릿 생성 시 사용한 password와 동일해야 한다
      db_name: superset
  ```
- 참고: `manifests/applicationset/superset/0.13.5/superset-db-values.yaml`



### 7) redis 

subchart로 포함된 reids을 배포하기 위한 설정이다.

``` yaml
redis:
  enabled: true
  # HA 설정을 위해서는 'replication'으로 변경이 필요하다.
  architecture: standalone
  # redis에서 인증애 대한 설정이다.
  auth:
    ## 사용을 원할 시 enabled를 true로 변경한다.
    enabled: false    
    password: superset
  image:
    # private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
    registry: docker.io
  master:
    # redis의 리소스를 설정한다.
    resources:
      limits: {}
      requests: {}
    # redis에서사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
    persistence:
      enabled: true
      storageClass: ""
      size: 8Gi
```