ChatWise Docs

中文

English

中文

English

Appearance

LiteLLM ​

LiteLLM 为您提供了一个统一的 API 来访问多个 LLM（100+ 种 LLM）

运行 LiteLLM ​

拉取 Docker 镜像：

bash
docker pull ghcr.io/berriai/litellm:main-latest

在当前目录或其他位置创建配置文件 litellm_config.yaml：

yaml
model_list:
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: azure/my_azure_deployment
      api_base: os.environ/AZURE_API_BASE
      api_key: "os.environ/AZURE_API_KEY"
      api_version: "2024-07-01-preview"

启动服务器：

bash
# 将 PATH/TO 替换为您的配置文件路径
docker run \
    -v PATH/TO/litellm_config.yaml:/app/config.yaml \
    -e AZURE_API_KEY=d6*********** \
    -e AZURE_API_BASE=https://openai-***********/ \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

# 运行在 http://0.0.0.0:4000

最后在 ChatWise 上创建一个 OpenAI 兼容的提供商，并输入 URL：