diff --git a/charts/vllm/CUSTOM-README.md b/charts/vllm/CUSTOM-README.md new file mode 100644 index 0000000..4eeaf42 --- /dev/null +++ b/charts/vllm/CUSTOM-README.md @@ -0,0 +1,87 @@ + +# VLLM 배포 + +## 1. 배포 방법 + +### 1) 배포시 주의 사항 + +- VLLM은 모델을 정의하지 않을 경우 API Gateway 역할을 하는 Router만 배포된다. +- Model을 정의할때 리소스를 잘 정의해야 한다.(CPU, Memory, Disk, GPU) + +### 2) 배포 방법 + +``` sh +git clone https://github.com/paasup/dip-catalog.git +cd charts/vllm +helm upgrade vllm ./ -f custom-values.yaml --install -n vllm --create-namespace +``` + + + +## 2.custom-values.yaml 설명 + +- custom-values.yaml에 정의된 값에 대한 설명이다. + +### 1) 모델 배포 설정 (Optional) + +### 2) VLLM Router 배포 설정 + +- VLLM 실행 시에 필요한 설정을 작성한다. + +| Name | 설명 | 기본값 | +| ------------------------ | ------------------------------------------------------ | ------------------------- | +| `routerSpec.repository` | Router의 images 경로  | "lmcache/lmstack-router" | +| `routerSpec.tag` | Image의 tag | 'latest' | +| `routerSpec.enableRouter` | Router 활성화 여부 | 'true' | + + + +### 3) Ingress 설정 + +#### 3.1) tls 시크릿 직접 생성 + +- Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다. + + ``` yaml + ingress: + enabled: true + hosts: + - host: vllm.example.org + paths: + - path: / + pathType: Prefix + tls: + - hosts: + - vllm.example.org + secretName: vllm-tls-secret + ``` + +- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다. + + ``` sh + kubectl create secret tls vllm-tls-secret --cert= --key= -n + ``` + +#### 3.2) cert-manager를 이용한 자동 생성 + +- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다. +- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다. + + ``` yaml + ingress: + enabled: true + className: "" + annotations: + cert-manager.io/cluster-issuer: "selfsigned-issuer" + cert-manager.io/duration: 8760h + cert-manager.io/renew-before: 720h + hosts: + - host: vllm.example.org + paths: + - path: / + pathType: Prefix + tls: + - hosts: + - vllm.example.org + secretName: vllm-tls-secret + ```