Create API-README.md
This commit is contained in:
@@ -0,0 +1,34 @@
|
||||
## LiteLLM API 가이드
|
||||
|
||||
### 모델 앤드포인트 생성
|
||||
|
||||
```sh
|
||||
curl -X 'POST' \
|
||||
'http://litellm.example.org/model/new' \
|
||||
-H 'accept: application/json' \
|
||||
-H 'Content-Type: application/json' \
|
||||
-H 'Authorization: Bearer changeme' \
|
||||
-d '{
|
||||
"model_name": "kserve2/mistralai-7b",
|
||||
"litellm_model_name": "hosted_vllm/mistralai-7b",
|
||||
"litellm_params": {
|
||||
"extra_headers": {
|
||||
"Authorization": ""
|
||||
},
|
||||
"custom_llm_provider": "hosted_vllm",
|
||||
"api_key": "sk-test",
|
||||
"api_base": "http://mistralai-7b.demo01-k01.svc.cluster.local/openai/v1",
|
||||
"organization": "string",
|
||||
"model": "hosted_vllm/mistralai-7b",
|
||||
"configurable_clientside_auth_params": [
|
||||
"string",
|
||||
{
|
||||
"api_base": "http://mistralai-7b.demo01-k01.svc.cluster.local/openai/v1"
|
||||
}
|
||||
]
|
||||
},
|
||||
"model_info": {
|
||||
"db_model": true
|
||||
}
|
||||
}'
|
||||
```
|
||||
Reference in New Issue
Block a user