service-catalog/manifests/helm/superset/0.13.5/CUSTOM-README.md

Superset 배포

1. 배포 방법

• 명령어

  $ helm upgrade superset ../superset --install \
   -n superset --create-namespace \
   -f ./custom-values.yaml
  

2. custom-values.yaml 설명

• custom-values.yaml에 정의된 값에 대한 설명이다.

1) 이미지 설정

• private 환경 배포시 사용한다.
• 해당 이미지 설정은 superset 서버, Celery worker, beat, flower에서 사용된다.

Name	설명	기본값
image.repository	오프라인 설치 시에 설정 변경 필요. paasup 설치시에는 "paasup.io/apache/superset"로 설정	"apachesuperset.docker.scarf.sh/apache/superset"
image.tag	이미지의 태그 설정. 기본값은 차트의 앱 버전으로 설정된다.	""

2) pod 공통 설정

• pod의 수, tolerations, nodeSelector 리소스 등을 설정한다.

Name	설명	기본값
tolerations	Superset 차트에서 배포되는 pod의 공통 toleration 설정.	[]
nodeSelector	Superset 차트에서 배포되는 pod의 공통 nodeSelector 설정.	{}
resources	Superset 차트에서 배포되는 pod의 기본 resource 설정. 개별 컴포넌트에 설정이 되어 있지 않을 때 사용.	{}

3) Suerset 설정

• 아래 설정에서 Superset의 설정을 추가할 수 있다.
• SSO를 위히서는 아래 설정에 추가

3.1) 배포를 위한 최소 설정

• Superset 배포 및 실행을 위해서는 다음 설정이 필요하다.

configOverrides: 
  ## Superset 실행을 위해서는 SECRET_KEY를 설정해야 한다.
  secret: |
    SECRET_KEY = '{openssl rand -base64 42 실행 값}'

# 접속할 DB에 대한 드라이버를 별도 설치해야함.
## 4.1.0 이상 버전부터 필요한 패키지를 추가하여 설치하거나 이미지 빌드가 필요하다.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary

3.2) Keycloak SSO 설정

• Keycloak SSO 설정을 위해서는 configOverrides.enable_oauth 설정을 추가해야 한다. 또한 bootstrapScript에서 python의 Authlib 패키지 설치도 필요하다.
• 아래 SSO 설정을 사용하기 위해서는 dip_api_url 을 수정하고 dip-api와 통신이 가능 해야한다.
• OAUTH_PROVIDERS의 값 중 kecloak client id, secret, server_metadata_url, api_base_url의 정보를 연동할 Keycloak의 값에 맞춰 수정해야 한다.

configOverrides: 
  secret: |
   SECRET_KEY = '{openssl rand -base64 42 실행 값}'
  log_level: |
   LOG_LEVEL = logging.INFO
  enable_oauth: |
    from flask_appbuilder.security.manager import (AUTH_DB, AUTH_OAUTH)
    from superset.security import SupersetSecurityManager
    from flask import request

    import requests
    import logging

    class CustomSsoSecurityManager(SupersetSecurityManager):
        def oauth_user_info(self, provider, response=None): 
            me = self.appbuilder.sm.oauth_remotes[provider].get("openid-connect/userinfo")
            me.raise_for_status()
            data = me.json()

            logging.debug("User info from Keycloak: %s", data)

            # 변수 정의
            role = []
            username = data.get("preferred_username", "")
            host = request.host
            dip_api_url =  "{dip api url}"    ## dip api url 수정 필요 ex) https://dip-api.example.org
            # URL과 데이터 정의
            url = f"{dip_api_url}/gwapi/v1/projectusers/{username}"
            request_data = {"url": f"https://{host}"}
            response = requests.post(url, json=request_data, headers={"Content-Type": "application/json"}, verify=False)

            # 응답 출력
            if response.status_code == 200:
                logging.info(f"API 요청 성공: {response.status_code}, {response.text}")
                role.append(response.json().get("roleName",""))
            else:
                logging.info(f"API 요청 실패: {response.status_code}, {response.text}")
                role.append("")

            return {
                "username": data.get("preferred_username", ""),
                "first_name": data.get("given_name", ""),
                "last_name": data.get("family_name", ""),
                "email": data.get("email", ""),
                "role_keys": role,
            }

    # OIDC 설정
    AUTH_TYPE = AUTH_OAUTH
    AUTH_USER_REGISTRATION = True
    AUTH_USER_REGISTRATION_ROLE = "Public"  # 매핑되지 않은 사용자는 기본적으로 'Public'으로 설정
    AUTH_ROLES_SYNC_AT_LOGIN = True
    CUSTOM_SECURITY_MANAGER = CustomSsoSecurityManager # Custom Security Manager 활성화

    ## OIDC provider 정보 설정
    OAUTH_PROVIDERS = [
        {
            "name": "keycloak",
            "icon": "fa-key",
            "token_key": "access_token",
            "remote_app": {
                "client_id": "superset",
                "client_secret": "{keycloak client secret}",
                "client_kwargs": {
                  "scope": "openid email profile",
                  'verify': False
                },
                'server_metadata_url': 'https://{keycloak url}/auth/realms/paasup/.well-known/openid-configuration', # keycloak url 수정 필요
                'api_base_url': 'https://{keycloak url}/auth/realms/paasup/protocol/'  # keycloak url 수정 필요
            }
        }
    ]

    # OIDC 권한 맵핑
    AUTH_ROLES_MAPPING = {
    'root': ['Admin'],
    'admin': ['Admin'],
    'manager': ['Admin'],
    'member': ['Alpha'],
    }
    
# 접속할 DB에 대한 드라이버를 별도 설치해야함.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary Authlib

4) 컴포넌트 설정

4.1) Suerset 서버

• Superset의 서버에 대한 설정이다.

Name	설명	기본값
supersetNode.replicas.replicaCount	Superset 서버의 pod 수를 설정.	1
supersetNode.connections	Superset 서버에서 사용할 DB 및 Redis 연결에 대한 설정. subchart의 postgresql과 redis에 설정한 값으로 설정.	custom-values.yaml 참고
supersetNoderesources	Superset 서버의 resource 설정.	{}

4.2) Suerset worker

• Superset Worker는 비동기 쿼리 작업을 처리한다.
• 스케쥴링 작업 실행이 필요할 때 Superset Beat를 배포해야 한다.

Name	설명	기본값
supersetWorker.replicas.replicaCount	Superset Worker의 pod 수를 설정.	1
supersetWorker.resources	Superset Worker의 resource 설정.	{}

4.3) Celery Beat

• Worker의 작업 스케줄러 역할을 하는 Celerry Beat에 대한 설정으로 기본은 false로 배포되지 않는다.

Name	설명	기본값
supersetCeleryBeat.enabled	Celery Beat에 대함 배포 여부.	false
supersetCeleryBeat.resources	Celery Beat의 resource 설정.	{}

4.4) Celery Flower

• Celery Worker의 작업에 대한 모니터링 대시보드로 기본은 false로 배포되지 않는다.

Name	설명	기본값
supersetCeleryFlower.enable	Celery Flower의 배포 여부.	false
supersetCeleryFlower.replicaCount	Celery Flower의 pod 수를 설정.	{}
supersetCeleryFlower.resource	Celery Flower의 resource 설정.	{}

5) Ingress 설정

5.1) tls 시크릿 직접 생성

• Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다.

  ingress:
    enabled: true
    path: /
    pathType: ImplementationSpecific
    hosts:
    - superset.example.org
    tls: 
    -  hosts:
       - superset.example.org
       secretName: superset-tls-secret
  

• ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.

  kubectl create secret tls superset-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
  

5.2) cert-manager를 이용한 자동 생성

• cert manager를 통해 인증서 자동 생성 시 custom-values.yaml 수정한다.
• ingress.annotations.cert-manager.io/cluster-issuer에 미리 배포된 Cluster Issuer의 이름으로 변경한다.

  ingress:
    enabled: true
    annotations: 
      cert-manager.io/cluster-issuer: "selfsigned-issuer" 
      cert-manager.io/duration: 8760h  
      cert-manager.io/renew-before: 720h
    path: /
    pathType: ImplementationSpecific
    hosts:
    - superset.example.org
    tls: 
    -  hosts:
       - superset.example.org
       secretName: superset-tls-secret
  

6) postgresql

• 내장 bitnami postgresql 서브차트 대신 cnpg-cluster(전용 인스턴스)를 외부 DB로 사용한다.
• 사전 조건: cloudnative-pg operator가 클러스터에 먼저 설치되어 있어야 한다.
• 배포 순서

  kubectl create secret generic superset-db-app-secret \
    --from-literal=username=superset --from-literal=password=superset -n superset
  
  helm upgrade superset-db manifests/helm/cnpg-cluster/1.0.0 \
    -f manifests/helm/cnpg-cluster/1.0.0/custom-values.yaml \
    -f manifests/applicationset/superset/0.13.5/superset-db-values.yaml \
    --install -n superset
  
  helm upgrade superset ../superset --install -n superset --create-namespace \
    -f ./custom-values.yaml
  

• ArgoCD로 배포한다면 manifests/applicationset/superset/0.13.5/의 ApplicationSet을 쓴다 — superset-db(syncWave 0) → superset(syncWave 1) 순서로 자동 배포된다. 자세한 내용은 해당 디렉토리의 README.md 참고.
• custom-values.yaml

  postgresql:
    enabled: false
  
  supersetNode:
    connections:
      db_host: 'superset-db-rw'   # cnpg-cluster 릴리스명이 superset-db일 때의 rw 서비스명
      db_port: "5432"
      db_user: superset
      db_pass: superset            # 위 시크릿 생성 시 사용한 password와 동일해야 한다
      db_name: superset
  

• 참고: manifests/applicationset/superset/0.13.5/superset-db-values.yaml

7) redis

subchart로 포함된 reids을 배포하기 위한 설정이다.

redis:
  enabled: true
  # HA 설정을 위해서는 'replication'으로 변경이 필요하다.
  architecture: standalone
  # redis에서 인증애 대한 설정이다.
  auth:
    ## 사용을 원할 시 enabled를 true로 변경한다.
    enabled: false    
    password: superset
  image:
    # private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
    registry: docker.io
  master:
    # redis의 리소스를 설정한다.
    resources:
      limits: {}
      requests: {}
    # redis에서사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
    persistence:
      enabled: true
      storageClass: ""
      size: 8Gi