From 99b50e764138db5f26e87a1fb74d7b9f43774b23 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=EC=9A=B0=EC=B0=BD=ED=98=B8?= <wooarchi@paasup.io>
Date: Thu, 27 Feb 2025 14:18:08 +0900
Subject: [PATCH 1/2] Create CUSTOM-README.md

init CUSTOM-README.md
---
 charts/vllm/CUSTOM-README.md | 87 ++++++++++++++++++++++++++++++++++++
 1 file changed, 87 insertions(+)
 create mode 100644 charts/vllm/CUSTOM-README.md

diff --git a/charts/vllm/CUSTOM-README.md b/charts/vllm/CUSTOM-README.md
new file mode 100644
index 0000000..4eeaf42
--- /dev/null
+++ b/charts/vllm/CUSTOM-README.md
@@ -0,0 +1,87 @@
+
+# VLLM 배포 
+
+## 1. 배포 방법
+
+### 1) 배포시 주의 사항
+
+- VLLM은 모델을 정의하지 않을 경우 API Gateway 역할을 하는 Router만 배포된다.
+- Model을 정의할때 리소스를 잘 정의해야 한다.(CPU, Memory, Disk, GPU)
+
+### 2) 배포 방법 
+
+``` sh
+git clone https://github.com/paasup/dip-catalog.git
+cd charts/vllm
+helm upgrade vllm ./ -f custom-values.yaml  --install -n vllm --create-namespace
+```
+
+
+
+## 2.custom-values.yaml 설명
+
+- custom-values.yaml에 정의된 값에 대한 설명이다.
+
+### 1) 모델 배포 설정 (Optional)
+
+### 2) VLLM Router 배포 설정
+
+- VLLM 실행 시에 필요한 설정을 작성한다.
+
+| Name                      | 설명                                                   | 기본값                       |
+| ------------------------  | ------------------------------------------------------ | ------------------------- |
+| `routerSpec.repository`   | Router의 images 경로                                     | "lmcache/lmstack-router"  |
+| `routerSpec.tag`          | Image의 tag                                             | 'latest'                  |
+| `routerSpec.enableRouter` | Router 활성화 여부                                        | 'true'                     |
+
+
+
+### 3) Ingress 설정
+
+#### 3.1) tls 시크릿 직접 생성
+
+- Rancher에서 ingress 사용을 위해서는 다음과 같이 설정할 수 있다.
+  
+  ``` yaml
+  ingress:
+  enabled: true
+    hosts:
+    - host: vllm.example.org
+      paths:
+      - path: /
+        pathType: Prefix
+    tls: 
+    -  hosts:
+      - vllm.example.org
+      secretName: vllm-tls-secret
+  ```
+  
+- ingress 사용을 위해서는 인증서를 secret으로 제공해야한다. 로컬 파일을 이용해 secret을 생성하는 방법은 다음과 같다.
+  
+  ``` sh
+  kubectl create secret tls vllm-tls-secret --cert=<path-to-cert-file> --key=<path-to-key-file> -n <namespace>
+  ```
+
+#### 3.2) cert-manager를 이용한 자동 생성
+
+- cert manager를 통해 인증서 자동 생성 시 `custom-values.yaml` 수정한다.
+- `ingress.annotations.cert-manager.io/cluster-issuer`에 미리 배포된 Cluster Issuer의 이름으로 변경한다.
+  
+  ``` yaml
+  ingress:
+    enabled: true
+    className: ""
+    annotations:
+      cert-manager.io/cluster-issuer: "selfsigned-issuer" 
+      cert-manager.io/duration: 8760h  
+      cert-manager.io/renew-before: 720h
+    hosts:
+    - host: vllm.example.org
+      paths:
+      - path: /
+        pathType: Prefix
+    tls: 
+    -  hosts:
+       - vllm.example.org
+       secretName: vllm-tls-secret
+  ```

From 719fbe6075efca992a99c09552b0a7746186b9ae Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=EC=9A=B0=EC=B0=BD=ED=98=B8?= <wooarchi@paasup.io>
Date: Thu, 27 Feb 2025 14:20:44 +0900
Subject: [PATCH 2/2] Update CUSTOM-README.md

---
 charts/vllm/CUSTOM-README.md | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

diff --git a/charts/vllm/CUSTOM-README.md b/charts/vllm/CUSTOM-README.md
index 4eeaf42..f132d14 100644
--- a/charts/vllm/CUSTOM-README.md
+++ b/charts/vllm/CUSTOM-README.md
@@ -30,7 +30,7 @@ helm upgrade vllm ./ -f custom-values.yaml  --install -n vllm --create-namespace
 
 | Name                      | 설명                                                   | 기본값                       |
 | ------------------------  | ------------------------------------------------------ | ------------------------- |
-| `routerSpec.repository`   | Router의 images 경로                                     | "lmcache/lmstack-router"  |
+| `routerSpec.repository`   | Router의 images 경로                                     | "lmcache/lmstack-router"  |
 | `routerSpec.tag`          | Image의 tag                                             | 'latest'                  |
 | `routerSpec.enableRouter` | Router 활성화 여부                                        | 'true'                     |