service-catalog/manifests/helm/nemo/25.4.0/CUSTOM-README.md

Nemo 배포

1. 배포 방법

1) 배포시 주의 사항

• 사용할 모델에 따라서 적절한 자원(CPU, Memory, GPU)를 설정한 후 배포 해야한다.

2) 배포 방법

# 차트 다운로드
# oauthtoken: 특정한 값을 지정하는 것이 아닌 아래와 같이 그대로 입력
# NGC_API_KEY: 위 준비과정에서 생성한 API_KEY 입력
$ helm fetch https://helm.ngc.nvidia.com/nvidia/nemo-microservices/charts/nemo-microservices-helm-chart-25.4.0.tgz \
   --username='$oauthtoken' \
   --password=$NGC_API_KEY
# 압축해제
$ tar xvzf nemo-microservices-helm-chart-25.4.0.tgz

# 배포
$ helm --namespace nemo install nemo . -f custom-values.yaml --create-namespace

2.custom-values.yaml 설명

• custom-values.yaml에 정의된 값에 대한 설명이다.

1) Registry 설정

Name	설명	기본값
ngcAPIKey	Nvidia GPU Cloud 가입 후 생성한 API Key	``
imagePullSecrets.name	이미지 다운로드를 위한 시크릿 이름	nvcrimagepullsecret
imagePullSecrets.registry	registry 경로(Private 환경일 경우 Harbor)	nvcr.io
imagePullSecrets.username	기본값 고정	$oauthtoken
imagePullSecrets.username.password	Nvidia GPU Cloud 가입 후 생성한 API Key	``

2) Nemo 컴포넌트 활성화 및 설정

2-1) data-store

Name	설명	기본값
data-store.enabled	data-store 활성여부	true
data-store.external.rootUrl	data-store rootUrl	https://nemo-datastore.example.com
data-store.external.domain	data-store domain	nemo-datastore.example.com

2-2) customizer

Name	설명	기본값
customizer.enabled	customizer 활성여부	true

2-3) nim (GPU 필요)

Name	설명	기본값
nim.enabled	nim 활성여부	false

2-4) evaluator

Name	설명	기본값
evaluator.enabled	evaluator 활성여부	true
evaluator.argoWorkflows.enabled	Argo Workflow 활성여부	true
evaluator.argoWorkflows.crds.install	Argo CRD 설치여부(DIP의 경우 ArgoCD가 선행되서 설치되기 때문에 False로 정의해야함.)	true

2-5) guardrails

Name	설명	기본값
guardrails.enabled	guardrails 활성여부	true

2-6) nemo-operator

Name	설명	기본값
nemo-operator.enabled	nemo-operator 활성여부	true

2-7) nim-operator

Name	설명	기본값
nim-operator.enabled	nim-operator 활성여부	true

2-8) dgxc-admission-controller

Name	설명	기본값
dgxc-admission-controller.enabled	dgxc-admission-controller 활성여부	false

2-9) entity-store

Name	설명	기본값
entity-store.enabled	entity-store 활성여부	true

2-10) volcano

Name	설명	기본값
volcano.enabled	volcano 활성여부	true

2-11) deployment-management

Name	설명	기본값
deployment-management.enabled	deployment-management 활성여부	true

2-12) nim-proxy

Name	설명	기본값
nim-proxy.enabled	nim-proxy 활성여부	true

2-13) virtualService

Name	설명	기본값
virtualService.enabled	Istio 사용시 활성여부	false

3) Ingress 설정

3.1) tls 시크릿 직접 생성

• nemo ingress 사용을 위해서는 다음과 같이 설정할 수 있다.

ingress:
  enabled: true
  tls:
    - hosts:
        - nemo.example.com
      secretName: nemo-tls-secret
  hosts:
    default:
      name: nemo.example.com
    nimProxy:
      name: nim.example.com
    dataStore:
      name: data-store.example.com

• ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.

  kubectl create secret tls nemo-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
  

3.2) cert-manager를 이용한 자동 생성

• cert manager를 통해 인증서 자동 생성 시 custom-values.yaml 수정한다.
• ingress.annotations.cert-manager.io/cluster-issuer에 미리 배포된 Cluster Issuer의 이름으로 변경한다.

ingress:
  enabled: true
  annotations:
    cert-manager.io/cluster-issuer: root-ca-issuer
    cert-manager.io/duration: 8760h
    cert-manager.io/renew-before: 720h
  className: "kong"
  tls:
    - hosts:
        - nemo.example.com
      secretName: nemo-tls-secret
  hosts:
    default:
      name: nemo.example.com
    nimProxy:
      name: nim.example.com
    dataStore:
      name: data-store.example.com