Repository for dip

11 KiB

Raw Permalink Blame History

Superset 배포

1. 배포 방법

명령어

$ helm upgrade superset ../superset --install \
 -n superset --create-namespace \
 -f ./custom-values.yaml

2. custom-values.yaml 설명

custom-values.yaml에 정의된 값에 대한 설명이다.

1) 이미지 설정

private 환경 배포시 사용한다.
해당 이미지 설정은 superset 서버, Celery worker, beat, flower에서 사용된다.

Name	설명	기본값
`image.repository`	오프라인 설치 시에 설정 변경 필요. paasup 설치시에는 "paasup.io/apache/superset"로 설정	`"apachesuperset.docker.scarf.sh/apache/superset"`
`image.tag`	이미지의 태그 설정. 기본값은 차트의 앱 버전으로 설정된다.	`""`

2) pod 공통 설정

pod의 수, tolerations, nodeSelector 리소스 등을 설정한다.

Name	설명	기본값
`tolerations`	Superset 차트에서 배포되는 pod의 공통 toleration 설정.	`[]`
`nodeSelector`	Superset 차트에서 배포되는 pod의 공통 nodeSelector 설정.	`{}`
`resources`	Superset 차트에서 배포되는 pod의 기본 resource 설정. 개별 컴포넌트에 설정이 되어 있지 않을 때 사용.	`{}`

3) Suerset 설정

아래 설정에서 Superset의 설정을 추가할 수 있다.
SSO를 위히서는 아래 설정에 추가

3.1) 배포를 위한 최소 설정

Superset 배포 및 실행을 위해서는 다음 설정이 필요하다.

configOverrides: 
  ## Superset 실행을 위해서는 SECRET_KEY를 설정해야 한다.
  secret: |
        SECRET_KEY = '{openssl rand -base64 42 실행 값}'

# 접속할 DB에 대한 드라이버를 별도 설치해야함.
## 4.1.0 이상 버전부터 필요한 패키지를 추가하여 설치하거나 이미지 빌드가 필요하다.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary

3.2) Keycloak SSO 설정

Keycloak SSO 설정을 위해서는 configOverrides.enable_oauth 설정을 추가해야 한다. 또한 bootstrapScript에서 python의 Authlib 패키지 설치도 필요하다.
아래 SSO 설정을 사용하기 위해서는 dip_api_url 을 수정하고 dip-api와 통신이 가능 해야한다.
OAUTH_PROVIDERS의 값 중 kecloak client id, secret, server_metadata_url, api_base_url의 정보를 연동할 Keycloak의 값에 맞춰 수정해야 한다.

configOverrides: 
  secret: |
      SECRET_KEY = '{openssl rand -base64 42 실행 값}'
  log_level: |
      LOG_LEVEL = logging.INFO
  enable_oauth: |
    from flask_appbuilder.security.manager import (AUTH_DB, AUTH_OAUTH)
    from superset.security import SupersetSecurityManager
    from flask import request

    import requests
    import logging

    class CustomSsoSecurityManager(SupersetSecurityManager):
        def oauth_user_info(self, provider, response=None): 
            me = self.appbuilder.sm.oauth_remotes[provider].get("openid-connect/userinfo")
            me.raise_for_status()
            data = me.json()

            logging.debug("User info from Keycloak: %s", data)

            # 변수 정의
            role = []
            username = data.get("preferred_username", "")
            host = request.host
            dip_api_url =  "{dip api url}"    ## dip api url 수정 필요 ex) https://dip-api.example.org
            # URL과 데이터 정의
            url = f"{dip_api_url}/gwapi/v1/projectusers/{username}"
            request_data = {"url": f"https://{host}"}
            response = requests.post(url, json=request_data, headers={"Content-Type": "application/json"}, verify=False)

            # 응답 출력
            if response.status_code == 200:
                logging.info(f"API 요청 성공: {response.status_code}, {response.text}")
                role.append(response.json().get("roleName",""))
            else:
                logging.info(f"API 요청 실패: {response.status_code}, {response.text}")
                role.append("")

            return {
                "username": data.get("preferred_username", ""),
                "first_name": data.get("given_name", ""),
                "last_name": data.get("family_name", ""),
                "email": data.get("email", ""),
                "role_keys": role,
            }

    # OIDC 설정
    AUTH_TYPE = AUTH_OAUTH
    AUTH_USER_REGISTRATION = True
    AUTH_USER_REGISTRATION_ROLE = "Public"  # 매핑되지 않은 사용자는 기본적으로 'Public'으로 설정
    AUTH_ROLES_SYNC_AT_LOGIN = True
    CUSTOM_SECURITY_MANAGER = CustomSsoSecurityManager # Custom Security Manager 활성화

    ## OIDC provider 정보 설정
    OAUTH_PROVIDERS = [
        {
            "name": "keycloak",
            "icon": "fa-key",
            "token_key": "access_token",
            "remote_app": {
                "client_id": "superset",
                "client_secret": "{keycloak client secret}",
                "client_kwargs": {
                  "scope": "openid email profile",
                  'verify': False
                },
                'server_metadata_url': 'https://{keycloak url}/auth/realms/paasup/.well-known/openid-configuration', # keycloak url 수정 필요
                'api_base_url': 'https://{keycloak url}/auth/realms/paasup/protocol/'  # keycloak url 수정 필요
            }
        }
    ]

    # OIDC 권한 맵핑
    AUTH_ROLES_MAPPING = {
    'root': ['Admin'],
    'admin': ['Admin'],
    'manager': ['Admin'],
    'member': ['Alpha'],
    }
        
# 접속할 DB에 대한 드라이버를 별도 설치해야함.
bootstrapScript: |
  #!/bin/bash
  pip install sqlalchemy-drill psycopg2-binary Authlib

4) 컴포넌트 설정

4.1) Suerset 서버

Superset의 서버에 대한 설정이다.

Name	설명	기본값
`supersetNode.replicas.replicaCount`	Superset 서버의 pod 수를 설정.	`1`
`supersetNode.connections`	Superset 서버에서 사용할 DB 및 Redis 연결에 대한 설정. subchart의 postgresql과 redis에 설정한 값으로 설정.	`custom-values.yaml` 참고
`supersetNoderesources`	Superset 서버의 resource 설정.	`{}`

4.2) Suerset worker

Superset Worker는 비동기 쿼리 작업을 처리한다.
스케쥴링 작업 실행이 필요할 때 Superset Beat를 배포해야 한다.

Name	설명	기본값
`supersetWorker.replicas.replicaCount`	Superset Worker의 pod 수를 설정.	`1`
`supersetWorker.resources`	Superset Worker의 resource 설정.	`{}`

4.3) Celery Beat

Worker의 작업 스케줄러 역할을 하는 Celerry Beat에 대한 설정으로 기본은 false로 배포되지 않는다.

Name	설명	기본값
`supersetCeleryBeat.enabled`	Celery Beat에 대함 배포 여부.	`false`
`supersetCeleryBeat.resources`	Celery Beat의 resource 설정.	`{}`

4.4) Celery Flower

Celery Worker의 작업에 대한 모니터링 대시보드로 기본은 false로 배포되지 않는다.

Name	설명	기본값
`supersetCeleryFlower.enable`	Celery Flower의 배포 여부.	`false`
`supersetCeleryFlower.replicaCount`	Celery Flower의 pod 수를 설정.	`{}`
`supersetCeleryFlower.resource`	Celery Flower의 resource 설정.	`{}`

5) Ingress 설정

5.1) tls 시크릿 직접 생성

Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다.

ingress:
  enabled: true
  path: /
  pathType: ImplementationSpecific
  hosts:
  - superset.example.org
  tls: 
  -  hosts:
     - superset.example.org
     secretName: superset-tls-secret

ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.
```
kubectl create secret tls superset-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
```

5.2) cert-manager를 이용한 자동 생성

cert manager를 통해 인증서 자동 생성 시 custom-values.yaml 수정한다.

ingress.annotations.cert-manager.io/cluster-issuer에 미리 배포된 Cluster Issuer의 이름으로 변경한다.

ingress:
  enabled: true
  annotations: 
    cert-manager.io/cluster-issuer: "selfsigned-issuer" 
    cert-manager.io/duration: 8760h  
    cert-manager.io/renew-before: 720h
  path: /
  pathType: ImplementationSpecific
  hosts:
  - superset.example.org
  tls: 
  -  hosts:
     - superset.example.org
     secretName: superset-tls-secret

6) postgresql

subchart로 포함된 postgresql을 배포하기 위한 설정이다.

postgresql:
  enabled: true
  auth:
    # DB의 계정 및 기본 생성되는 database를 설정한다.
    username: superset
    password: superset
    database: superset
  image:
    # private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
    registry: docker.io
  primary:
    # DB의 리소스를 설정한다.
    resources:
      limits: {}
      requests:
        memory: 256Mi
        cpu: 250m
    # DB에서 사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
    persistence:
      enabled: true
      storageClass: ""
      accessModes:
        - ReadWriteOnce
      size: 8Gi

7) redis

subchart로 포함된 reids을 배포하기 위한 설정이다.

redis:
  enabled: true
  # HA 설정을 위해서는 'replication'으로 변경이 필요하다.
  architecture: standalone
  # redis에서 인증애 대한 설정이다.
  auth:
    ## 사용을 원할 시 enabled를 true로 변경한다.
    enabled: false    
    password: superset
  image:
    # private 환경에서 배포할 때 사용할 registry로 설정을 변경한다.
    registry: docker.io
  master:
    # redis의 리소스를 설정한다.
    resources:
      limits: {}
      requests: {}
    # redis에서사용할 Disk 설정으로 StorageClass와 사이즈를 설정한다.
    persistence:
      enabled: true
      storageClass: ""
      size: 8Gi

11 KiB Raw Permalink Blame History

Superset 배포

1. 배포 방법

2. custom-values.yaml 설명

1) 이미지 설정

2) pod 공통 설정

3) Suerset 설정

3.1) 배포를 위한 최소 설정

3.2) Keycloak SSO 설정

4) 컴포넌트 설정

4.1) Suerset 서버

4.2) Suerset worker

4.3) Celery Beat

4.4) Celery Flower

5) Ingress 설정

5.1) tls 시크릿 직접 생성

5.2) cert-manager를 이용한 자동 생성

6) postgresql

7) redis

11 KiB

Raw Permalink Blame History