kserve ingress update
This commit is contained in:
@@ -18,13 +18,13 @@
|
|||||||
### 1) InferenceService 설정
|
### 1) InferenceService 설정
|
||||||
|
|
||||||
| Name | 설명 | 기본값 |
|
| Name | 설명 | 기본값 |
|
||||||
| --------------------------- | ----------------------------------------- | --------------------- |
|
| ----------------------- | --------------------- | ------------------- |
|
||||||
| `inferenceService.name` | InferenceService 이름 | `huggingface-model` |
|
| `inferenceService.name` | InferenceService 이름 | `huggingface-model` |
|
||||||
|
|
||||||
### 2) 모델 설정
|
### 2) 모델 설정
|
||||||
|
|
||||||
| Name | 설명 | 기본값 |
|
| Name | 설명 | 기본값 |
|
||||||
| --------------------------- | ----------------------------------------- | -------------------------------- |
|
| ----------------------------------- | --------------------- | ---------------------------- |
|
||||||
| `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` |
|
| `inferenceService.model.args[0]` | 모델 서빙 백엔드 설정 | `--backend=vllm` |
|
||||||
| `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` |
|
| `inferenceService.model.args[1]` | 사용할 모델 이름 | `--model_name=phi-1.5` |
|
||||||
| `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` |
|
| `inferenceService.model.args[2]` | 데이터 타입 설정 | `--dtype=float16` |
|
||||||
@@ -33,7 +33,7 @@
|
|||||||
### 3) 리소스 설정
|
### 3) 리소스 설정
|
||||||
|
|
||||||
| Name | 설명 | 기본값 |
|
| Name | 설명 | 기본값 |
|
||||||
| --------------------------------------- | ------------------------------ | ---------- |
|
| ---------------------------------------------------- | ------------------ | ------ |
|
||||||
| `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` |
|
| `inferenceService.resources.limits.cpu` | CPU 리소스 제한 | `8` |
|
||||||
| `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` |
|
| `inferenceService.resources.limits.memory` | 메모리 리소스 제한 | `16Gi` |
|
||||||
| `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` |
|
| `inferenceService.resources.limits.nvidia.com/gpu` | GPU 리소스 제한 | `1` |
|
||||||
@@ -44,9 +44,9 @@
|
|||||||
### 4) Ingress 설정
|
### 4) Ingress 설정
|
||||||
|
|
||||||
| Name | 설명 | 기본값 |
|
| Name | 설명 | 기본값 |
|
||||||
| --------------------------------------- | ------------------------------ | ------------------------------------- |
|
| ---------------------------------------------------- | -------------------------------------- | ------------------------------ |
|
||||||
| `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` |
|
| `ingress.annotations.cert-manager.io/cluster-issuer` | TLS 인증서 발급을 위한 클러스터 이슈어 | `root-ca-issuer` |
|
||||||
| `ingress.host.domain` | Ingress 호스트 도메인 | `kserve.example.com` |
|
| `ingress.hosts[0].host` | Ingress 호스트 | `phi15.default.hopt.paasup.io` |
|
||||||
| `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` |
|
| `ingress.tls.secretName` | TLS 인증서 시크릿 이름 | `custom-kserve-tls` |
|
||||||
|
|
||||||
## 3. 참고 사항
|
## 3. 참고 사항
|
||||||
|
|||||||
@@ -22,7 +22,7 @@ inferenceService:
|
|||||||
ingress:
|
ingress:
|
||||||
annotations:
|
annotations:
|
||||||
cert-manager.io/cluster-issuer: "root-ca-issuer"
|
cert-manager.io/cluster-issuer: "root-ca-issuer"
|
||||||
host:
|
hosts:
|
||||||
domain: "phi15.default.hopt.paasup.io"
|
- host: "phi15.default.hopt.paasup.io"
|
||||||
tls:
|
tls:
|
||||||
secretName: custom-kserve-tls
|
secretName: custom-kserve-tls
|
||||||
|
|||||||
@@ -11,21 +11,24 @@ metadata:
|
|||||||
spec:
|
spec:
|
||||||
ingressClassName: {{ .Values.ingress.className }}
|
ingressClassName: {{ .Values.ingress.className }}
|
||||||
rules:
|
rules:
|
||||||
- host: {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }}
|
{{- range .Values.ingress.hosts }}
|
||||||
|
- host: {{ .host }}
|
||||||
http:
|
http:
|
||||||
paths:
|
paths:
|
||||||
- backend:
|
- backend:
|
||||||
service:
|
service:
|
||||||
name: {{ .Values.ingress.backend.service.name }}
|
name: {{ $.Values.ingress.backend.service.name }}
|
||||||
port:
|
port:
|
||||||
number: {{ .Values.ingress.backend.service.port }}
|
number: {{ $.Values.ingress.backend.service.port }}
|
||||||
path: /
|
path: /
|
||||||
pathType: Prefix
|
pathType: Prefix
|
||||||
|
{{- end }}
|
||||||
{{- if .Values.ingress.tls.enabled }}
|
{{- if .Values.ingress.tls.enabled }}
|
||||||
tls:
|
tls:
|
||||||
- hosts:
|
- hosts:
|
||||||
- {{ .Values.ingress.host.domain }}
|
{{- range .Values.ingress.hosts }}
|
||||||
- {{ if .Values.ingress.host.wildcard }}*.{{ end }}{{ .Values.ingress.host.domain }}
|
- {{ .host }}
|
||||||
|
{{- end }}
|
||||||
secretName: {{ .Values.ingress.tls.secretName }}
|
secretName: {{ .Values.ingress.tls.secretName }}
|
||||||
{{- end }}
|
{{- end }}
|
||||||
{{- end }}
|
{{- end }}
|
||||||
@@ -41,9 +41,8 @@ ingress:
|
|||||||
className: "kong"
|
className: "kong"
|
||||||
annotations:
|
annotations:
|
||||||
cert-manager.io/cluster-issuer: kubeflow-self-signing-issuer
|
cert-manager.io/cluster-issuer: kubeflow-self-signing-issuer
|
||||||
host:
|
hosts:
|
||||||
domain: "demo01-test1.hopt.paasup.io"
|
- host: "demo01-test1.hopt.paasup.io"
|
||||||
wildcard: false
|
|
||||||
backend:
|
backend:
|
||||||
service:
|
service:
|
||||||
name: istio-ingressgateway
|
name: istio-ingressgateway
|
||||||
|
|||||||
Reference in New Issue
Block a user