diff --git a/charts/litellm/CUSTOM-REAMD.md b/charts/litellm/CUSTOM-REAMD.md new file mode 100644 index 0000000..56a4fd3 --- /dev/null +++ b/charts/litellm/CUSTOM-REAMD.md @@ -0,0 +1,94 @@ + +# litellm 배포 + +## 1. 배포 방법 + +### 1) 배포시 주의 사항 + +- 사용할 모델에 따라서 적절한 자원(CPU, Memory, GPU)를 설정한 후 배포 해야한다. + +### 2) 배포 방법 + +``` sh +git clone https://github.com/paasup/dip-catalog.git +cd charts/litellm +helm upgrade litellm ./ -f custom-values.yaml --install -n litellm --create-namespace +``` + + + +## 2.custom-values.yaml 설명 + +- custom-values.yaml에 정의된 값에 대한 설명이다. + +### 1) Pod 설정 +image: + # Use "ghcr.io/berriai/litellm-database" for optimized image with database + repository: ghcr.io/berriai/litellm-database + tag: "" + +| Name | 설명 | 기본값 | +| ---------------------- | ------------------------------------------------------------ | ------ | +| `image.repository` | 오프라인 설치 시에 설정.
오프라인 설치시에는 "paasup.io"로 설정 | `"docker.io"` | +| `image.tag` | 이미지 태그 설정 | 'main-latest' | +| `resources` | Litellm 서버의 시스템 자원 설정.
필요한 자원 확인 필요| `custom-values.yaml` 참고 | + + + +### 2) litellm 사용자 설정 + +- litellm에서 사용할 Admin 계정의 패스워드를 설정한다. (이 패스워드는 API 요청시 Key로도 사용된다.) + +| Name | 설명 | 기본값 | +| --------------------- | ------------------------ | --------- | +| `masterkey` | Admin 계정 및 API 엑세스 Key 정의 | "changeit" | + + + + +### 3) Ingress 설정 + +#### 3.1) tls 시크릿 직접 생성 + +- litellm에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다. + + ``` yaml + ingress: + enabled: true + hosts: + - host: litellm.example.org + paths: + - path: / + tls: + - hosts: + - litellm.example.org + secretName: litellm-tls-secret + ``` + +- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다. + + ``` sh + kubectl create secret tls ltellm-tls-secret --cert= --key= -n + ``` + +#### 3.2) cert-manager를 이용한 자동 생성 + +- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다. +- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다. + + ``` yaml + ingress: + enabled: true + annotations: + cert-manager.io/cluster-issuer: "root-ca-issuer" + cert-manager.io/duration: 8760h + cert-manager.io/renew-before: 720h + hosts: + - host: litellm.example.org + paths: + - / + tls: + - hosts: + - litellm.example.org + secretName: litellm-tls-secret + ```