You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
163 lines
6.3 KiB
163 lines
6.3 KiB
|
|
# Nemo 배포
|
|
|
|
## 1. 배포 방법
|
|
|
|
### 1) 배포시 주의 사항
|
|
- 사용할 모델에 따라서 적절한 자원(CPU, Memory, GPU)를 설정한 후 배포 해야한다.
|
|
|
|
### 2) 배포 방법
|
|
|
|
``` sh
|
|
# 차트 다운로드
|
|
# oauthtoken: 특정한 값을 지정하는 것이 아닌 아래와 같이 그대로 입력
|
|
# NGC_API_KEY: 위 준비과정에서 생성한 API_KEY 입력
|
|
$ helm fetch https://helm.ngc.nvidia.com/nvidia/nemo-microservices/charts/nemo-microservices-helm-chart-25.4.0.tgz \
|
|
--username='$oauthtoken' \
|
|
--password=$NGC_API_KEY
|
|
# 압축해제
|
|
$ tar xvzf nemo-microservices-helm-chart-25.4.0.tgz
|
|
|
|
# 배포
|
|
$ helm --namespace nemo install nemo . -f custom-values.yaml --create-namespace
|
|
```
|
|
|
|
|
|
## 2.custom-values.yaml 설명
|
|
- custom-values.yaml에 정의된 값에 대한 설명이다.
|
|
|
|
### 1) Registry 설정
|
|
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `ngcAPIKey` | `Nvidia GPU Cloud 가입 후 생성한 API Key` | `` |
|
|
| `imagePullSecrets.name` | `이미지 다운로드를 위한 시크릿 이름`| `nvcrimagepullsecret` |
|
|
| `imagePullSecrets.registry` | `registry 경로(Private 환경일 경우 Harbor)` | `nvcr.io` |
|
|
| `imagePullSecrets.username` | `기본값 고정`| `$oauthtoken` |
|
|
| `imagePullSecrets.username.password` | `Nvidia GPU Cloud 가입 후 생성한 API Key`| `` |
|
|
|
|
|
|
### 2) Nemo 컴포넌트 활성화 및 설정
|
|
|
|
#### 2-1) data-store
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `data-store.enabled` | `data-store 활성여부` | `true` |
|
|
| `data-store.external.rootUrl` | `data-store rootUrl`| `https://nemo-datastore.example.com` |
|
|
| `data-store.external.domain` | `data-store domain` | `nemo-datastore.example.com` |
|
|
|
|
#### 2-2) customizer
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `customizer.enabled` | `customizer 활성여부` | `true` |
|
|
|
|
#### 2-3) nim (GPU 필요)
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `nim.enabled` | `nim 활성여부` | `false` |
|
|
|
|
#### 2-4) evaluator
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `evaluator.enabled` | `evaluator 활성여부` | `true` |
|
|
| `evaluator.argoWorkflows.enabled` | `Argo Workflow 활성여부`| `true` |
|
|
| `evaluator.argoWorkflows.crds.install` | `Argo CRD 설치여부(DIP의 경우 ArgoCD가 선행되서 설치되기 때문에 False로 정의해야함.)` | `true` |
|
|
|
|
|
|
#### 2-5) guardrails
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `guardrails.enabled` | `guardrails 활성여부` | `true` |
|
|
|
|
|
|
#### 2-6) nemo-operator
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `nemo-operator.enabled` | `nemo-operator 활성여부` | `true` |
|
|
|
|
#### 2-7) nim-operator
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `nim-operator.enabled` | `nim-operator 활성여부` | `true` |
|
|
|
|
#### 2-8) dgxc-admission-controller
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `dgxc-admission-controller.enabled` | `dgxc-admission-controller 활성여부` | `false` |
|
|
|
|
|
|
#### 2-9) entity-store
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `entity-store.enabled` | `entity-store 활성여부` | `true` |
|
|
|
|
#### 2-10) volcano
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `volcano.enabled` | `volcano 활성여부` | `true` |
|
|
|
|
#### 2-11) deployment-management
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `deployment-management.enabled` | `deployment-management 활성여부` | `true` |
|
|
|
|
#### 2-12) nim-proxy
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `nim-proxy.enabled` | `nim-proxy 활성여부` | `true` |
|
|
|
|
#### 2-13) virtualService
|
|
| Name | 설명 | 기본값 |
|
|
| ---------------------- | ----------------------------------| ------ |
|
|
| `virtualService.enabled` | `Istio 사용시 활성여부` | `false` |
|
|
|
|
### 3) Ingress 설정
|
|
|
|
#### 3.1) tls 시크릿 직접 생성
|
|
- nemo ingress 사용을 위해서는 다음과 같이 설정할 수 있다.
|
|
``` yaml
|
|
ingress:
|
|
enabled: true
|
|
tls:
|
|
- hosts:
|
|
- nemo.example.com
|
|
secretName: nemo-tls-secret
|
|
hosts:
|
|
default:
|
|
name: nemo.example.com
|
|
nimProxy:
|
|
name: nim.example.com
|
|
dataStore:
|
|
name: data-store.example.com
|
|
```
|
|
|
|
- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.
|
|
|
|
``` sh
|
|
kubectl create secret tls nemo-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
|
|
```
|
|
|
|
#### 3.2) cert-manager를 이용한 자동 생성
|
|
|
|
- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다.
|
|
- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다.
|
|
``` yaml
|
|
ingress:
|
|
enabled: true
|
|
annotations:
|
|
cert-manager.io/cluster-issuer: root-ca-issuer
|
|
cert-manager.io/duration: 8760h
|
|
cert-manager.io/renew-before: 720h
|
|
className: "kong"
|
|
tls:
|
|
- hosts:
|
|
- nemo.example.com
|
|
secretName: nemo-tls-secret
|
|
hosts:
|
|
default:
|
|
name: nemo.example.com
|
|
nimProxy:
|
|
name: nim.example.com
|
|
dataStore:
|
|
name: data-store.example.com
|
|
```
|
|
|