kserve
This commit is contained in:
@@ -20,5 +20,7 @@ spec:
|
||||
{{- if .Values.inferenceService.model.image }}
|
||||
image: {{ .Values.inferenceService.model.image }}
|
||||
{{- end }}
|
||||
minReplicas: {{ .Values.inferenceService.minReplicas }}
|
||||
maxReplicas: {{ .Values.inferenceService.maxReplicas }}
|
||||
resources:
|
||||
{{- toYaml .Values.inferenceService.resources | nindent 8 }}
|
||||
@@ -23,7 +23,10 @@ inferenceService:
|
||||
- --dtype=float16
|
||||
storageUri: "pvc://model-volume/phi-1_5"
|
||||
image: kserve/huggingfaceserver:v0.15.0-gpu
|
||||
|
||||
|
||||
minReplicas: 0
|
||||
maxReplicas: 3
|
||||
|
||||
# 리소스 설정
|
||||
resources:
|
||||
limits:
|
||||
|
||||
Reference in New Issue
Block a user