kserve ingress update

This commit is contained in:
ychangkim
2025-07-21 15:02:45 +09:00
parent d872a6dc6f
commit 7d61034bad
4 changed files with 34 additions and 32 deletions
+5 -5
View File
@@ -18,13 +18,13 @@
### 1) InferenceService 설정 ### 1) InferenceService 설정
| Name | 설명 | 기본값 | | Name | 설명 | 기본값 |
| --------------------------- | ----------------------------------------- | --------------------- | | ----------------------- | --------------------- | ------------------- |
| `inferenceService.name` | InferenceService 이름 | `huggingface-model` | | `inferenceService.name` | InferenceService 이름 | `huggingface-model` |
### 2) 모델 설정 ### 2) 모델 설정
| Name | 설명 | 기본값 | | Name | 설명 | 기본값 |
| --------------------------- | ----------------------------------------- | -------------------------------- | | ----------------------------------- | --------------------- | ---------------------------- |
| `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` | | `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` |
| `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` | | `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` |
| `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` | | `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` |
@@ -33,7 +33,7 @@
### 3) 리소스 설정 ### 3) 리소스 설정
| Name | 설명 | 기본값 | | Name | 설명 | 기본값 |
| --------------------------------------- | ------------------------------ | ---------- | | ---------------------------------------------------- | ------------------ | ------ |
| `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` | | `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` |
| `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` | | `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` |
| `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` | | `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` |
@@ -44,9 +44,9 @@
### 4) Ingress 설정 ### 4) Ingress 설정
| Name | 설명 | 기본값 | | Name | 설명 | 기본값 |
| --------------------------------------- | ------------------------------ | ------------------------------------- | | ---------------------------------------------------- | -------------------------------------- | ------------------------------ |
| `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` | | `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` |
| `ingress.host.domain` | Ingress 호스트 도메인 | `kserve.example.com` | | `ingress.hosts[0].host` | Ingress 호스트 | `phi15.default.hopt.paasup.io` |
| `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` | | `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` |
## 3. 참고 사항 ## 3. 참고 사항
+2 -2
View File
@@ -22,7 +22,7 @@ inferenceService:
ingress: ingress:
annotations: annotations:
cert-manager.io/cluster-issuer: "root-ca-issuer" cert-manager.io/cluster-issuer: "root-ca-issuer"
host: hosts:
domain: "phi15.default.hopt.paasup.io" - host: "phi15.default.hopt.paasup.io"
tls: tls:
secretName: custom-kserve-tls secretName: custom-kserve-tls
+8 -5
View File
@@ -11,21 +11,24 @@ metadata:
spec: spec:
ingressClassName: {{ .Values.ingress.className }} ingressClassName: {{ .Values.ingress.className }}
rules: rules:
- host: {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }} {{- range .Values.ingress.hosts }}
- host: {{ .host }}
http: http:
paths: paths:
- backend: - backend:
service: service:
name: {{ .Values.ingress.backend.service.name }} name: {{ $.Values.ingress.backend.service.name }}
port: port:
number: {{ .Values.ingress.backend.service.port }} number: {{ $.Values.ingress.backend.service.port }}
path: / path: /
pathType: Prefix pathType: Prefix
{{- end }}
{{- if .Values.ingress.tls.enabled }} {{- if .Values.ingress.tls.enabled }}
tls: tls:
- hosts: - hosts:
- {{ .Values.ingress.host.domain }} {{- range .Values.ingress.hosts }}
- {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }} - {{ .host }}
{{- end }}
secretName: {{ .Values.ingress.tls.secretName }} secretName: {{ .Values.ingress.tls.secretName }}
{{- end }} {{- end }}
{{- end }} {{- end }}
+2 -3
View File
@@ -41,9 +41,8 @@ ingress:
className: "kong" className: "kong"
annotations: annotations:
cert-manager.io/cluster-issuer: kubeflow-self-signing-issuer cert-manager.io/cluster-issuer: kubeflow-self-signing-issuer
host: hosts:
domain: "demo01-test1.hopt.paasup.io" - host: "demo01-test1.hopt.paasup.io"
wildcard: false
backend: backend:
service: service:
name: istio-ingressgateway name: istio-ingressgateway