dip/service-catalog
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity

Update CUSTOM-README.md

Browse Source
This commit is contained in:
우창호
2025-03-17 13:22:33 +09:00
committed by GitHub
parent 888e6f589b
commit 760e6f6475
1 changed files with 16 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files
charts/vllm/CUSTOM-README.md
+16 -1
View File
@@ -23,7 +23,22 @@ helm upgrade vllm ./ -f custom-values.yaml --install -n vllm --create-namespace
- custom-values.yaml에 정의된 값에 대한 설명이다. - custom-values.yaml에 정의된 값에 대한 설명이다.
### 1) 모델 배포 설정 (Optional) ### 1) 모델 배포 설정 (Optional)
| Name | 설명 | 기본값 |
| ------------------------ | ------------------------------------------------------ | ------------------------- |
| `modelSpec.name` | 배포할 모델의 이름 | "" |
| `modelSpec.repository` | Image의 경로 | "" |
| `modelSpec.tag` | Image의 tag | "latest" |
| `modelSpec.modelURL` | 배포할 모델의 URL(HuggingSpace 기준) | "" |
| `modelSpec.replicaCount` | replicaCount 정의 | "1" |
| `modelSpec.requestCPU` | POD의 CPU Request 값 | "10" |
| `modelSpec.requestMemory` | POD의 Moemory Request 값 | "64Gi" |
| `modelSpec.requestGPU` | POD의 GPU Request 값 | "1" |
| `modelSpec.pvcStorage` | PVC의 용량 설정 | "50Gi" |
| `modelSpec.pvcAccessMode` | pvcAccessMode 정의 | "[]" |
| `modelSpec.storageClass` | 사용할 Storage Class 값 | "" |
| `modelSpec.vllmConfig.maxModelLen` | 모델이 한 번에 처리할 수 있는 최대 시퀀스 길이(토큰 수)를 설정 | "16384" |
| `modelSpec.vllmConfig.dtype` | 모델 계산에 사용될 데이터 타입을 설정 | "bfloat16" |
| `modelSpec.vllmConfig.extraArgs` | 모델 실행 시 추가적인 커맨드 라인 인자를 설정 | "custom-values.yaml 참고"
### 2) VLLM Router 배포 설정 ### 2) VLLM Router 배포 설정
- VLLM 실행 시에 필요한 설정을 작성한다. - VLLM 실행 시에 필요한 설정을 작성한다.