From 7d61034bad693df99f0369bc0196a2bd8dd564bd Mon Sep 17 00:00:00 2001 From: ychangkim Date: Mon, 21 Jul 2025 15:02:45 +0900 Subject: [PATCH] kserve ingress update --- charts/kserve/CUSTOM-README.md | 44 ++++++++++++++-------------- charts/kserve/custom-values.yaml | 4 +-- charts/kserve/templates/ingress.yaml | 13 ++++---- charts/kserve/values.yaml | 5 ++-- 4 files changed, 34 insertions(+), 32 deletions(-) diff --git a/charts/kserve/CUSTOM-README.md b/charts/kserve/CUSTOM-README.md index e729990..3e2c52c 100644 --- a/charts/kserve/CUSTOM-README.md +++ b/charts/kserve/CUSTOM-README.md @@ -17,37 +17,37 @@ ### 1) InferenceService 설정 -| Name | 설명 | 기본값 | -| --------------------------- | ----------------------------------------- | --------------------- | -| `inferenceService.name` | InferenceService 이름 | `huggingface-model` | +| Name | 설명 | 기본값 | +| ----------------------- | --------------------- | ------------------- | +| `inferenceService.name` | InferenceService 이름 | `huggingface-model` | ### 2) 모델 설정 -| Name | 설명 | 기본값 | -| --------------------------- | ----------------------------------------- | -------------------------------- | -| `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` | -| `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` | -| `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` | -| `inferenceService.model.storageUri` | 모델 파일 저장 위치 | `pvc://model-volume/phi-1_5` | +| Name | 설명 | 기본값 | +| ----------------------------------- | --------------------- | ---------------------------- | +| `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` | +| `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` | +| `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` | +| `inferenceService.model.storageUri` | 모델 파일 저장 위치 | `pvc://model-volume/phi-1_5` | ### 3) 리소스 설정 -| Name | 설명 | 기본값 | -| --------------------------------------- | ------------------------------ | ---------- | -| `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` | -| `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` | -| `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` | -| `inferenceService.resources.requests.cpu` | CPU 리소스 요청 | `4` | -| `inferenceService.resources.requests.memory` | 메모리 리소스 요청 | `8Gi` | -| `inferenceService.resources.requests.nvidia.com/gpu` | GPU 리소스 요청 | `1` | +| Name | 설명 | 기본값 | +| ---------------------------------------------------- | ------------------ | ------ | +| `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` | +| `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` | +| `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` | +| `inferenceService.resources.requests.cpu` | CPU 리소스 요청 | `4` | +| `inferenceService.resources.requests.memory` | 메모리 리소스 요청 | `8Gi` | +| `inferenceService.resources.requests.nvidia.com/gpu` | GPU 리소스 요청 | `1` | ### 4) Ingress 설정 -| Name | 설명 | 기본값 | -| --------------------------------------- | ------------------------------ | ------------------------------------- | -| `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` | -| `ingress.host.domain` | Ingress 호스트 도메인 | `kserve.example.com` | -| `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` | +| Name | 설명 | 기본값 | +| ---------------------------------------------------- | -------------------------------------- | ------------------------------ | +| `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` | +| `ingress.hosts[0].host` | Ingress 호스트 | `phi15.default.hopt.paasup.io` | +| `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` | ## 3. 참고 사항 diff --git a/charts/kserve/custom-values.yaml b/charts/kserve/custom-values.yaml index 24453d7..1e48cd4 100644 --- a/charts/kserve/custom-values.yaml +++ b/charts/kserve/custom-values.yaml @@ -22,7 +22,7 @@ inferenceService: ingress: annotations: cert-manager.io/cluster-issuer: "root-ca-issuer" - host: - domain: "phi15.default.hopt.paasup.io" + hosts: + - host: "phi15.default.hopt.paasup.io" tls: secretName: custom-kserve-tls diff --git a/charts/kserve/templates/ingress.yaml b/charts/kserve/templates/ingress.yaml index 81aa353..020e722 100644 --- a/charts/kserve/templates/ingress.yaml +++ b/charts/kserve/templates/ingress.yaml @@ -11,21 +11,24 @@ metadata: spec: ingressClassName: {{ .Values.ingress.className }} rules: - - host: {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }} + {{- range .Values.ingress.hosts }} + - host: {{ .host }} http: paths: - backend: service: - name: {{ .Values.ingress.backend.service.name }} + name: {{ $.Values.ingress.backend.service.name }} port: - number: {{ .Values.ingress.backend.service.port }} + number: {{ $.Values.ingress.backend.service.port }} path: / pathType: Prefix + {{- end }} {{- if .Values.ingress.tls.enabled }} tls: - hosts: - - {{ .Values.ingress.host.domain }} - - {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }} + {{- range .Values.ingress.hosts }} + - {{ .host }} + {{- end }} secretName: {{ .Values.ingress.tls.secretName }} {{- end }} {{- end }} \ No newline at end of file diff --git a/charts/kserve/values.yaml b/charts/kserve/values.yaml index 51b7b1a..49af5c2 100644 --- a/charts/kserve/values.yaml +++ b/charts/kserve/values.yaml @@ -41,9 +41,8 @@ ingress: className: "kong" annotations: cert-manager.io/cluster-issuer: kubeflow-self-signing-issuer - host: - domain: "demo01-test1.hopt.paasup.io" - wildcard: false + hosts: + - host: "demo01-test1.hopt.paasup.io" backend: service: name: istio-ingressgateway