LiteLLM怎么用 统一调用多家大模型API教程

LiteLLM是一个统一的大模型API调用库，用OpenAI格式就能调用GPT、Claude、Gemini等各种模型，不用为每家服务商重写一套代码。它既能作为Python库直接接入项目，也能启动代理服务，让现有OpenAI客户端通过统一接口访问不同模型。下面从安装、密钥配置、模型切换到代理部署，按步骤跑通一次。

第一步：安装LiteLLM

先确认电脑已安装Python和pip，再打开终端执行pip install litellm。如果使用uv管理项目，也可以执行uv add litellm。安装完成后，新建一个Python文件，例如demo.py。首次运行前建议在虚拟环境中操作，便于隔离依赖；若命令报错，先检查当前终端使用的Python环境是否正确。

在文件里写入下面这段最小示例，保存后运行python demo.py。LiteLLM的completion函数接收统一的消息列表，模型名用于指明服务商和具体型号。成功时，程序会打印模型回复；如果提示缺少密钥，继续完成下一步配置。注意模型名称要使用服务商支持的写法，并确认账号已开通对应模型。litellm支持以OpenAI格式调用多家模型。

from litellm import completion
response = completion(
　model="openai/gpt-4o",
　messages=[{"role": "user", "content": "用一句话介绍LiteLLM"}]
)
print(response.choices[0].message.content)

第二步：配置多个模型密钥

调用云端模型需要相应服务商的API密钥。不要把真实密钥直接写进代码，也不要提交到Git仓库。可以先在当前终端设置环境变量：macOS或Linux使用export OPENAI_API_KEY="你的密钥"，Windows PowerShell使用$env:OPENAI_API_KEY="你的密钥"。环境变量只对当前终端会话生效，换窗口后可能需要重新设置。

要同时接入多家服务商，就分别设置各自要求的变量，例如ANTHROPIC_API_KEY和GEMINI_API_KEY。变量名称需与LiteLLM对应服务商的配置要求一致；部分云平台还需要区域、项目编号或自定义API地址。若调用失败，先确认密钥有效、账户有额度，再核对环境变量是否在运行脚本的同一终端中设置。

切换不同模型

准备好多个密钥后，只需替换调用中的model参数，消息格式通常保持不变。例如将模型名改为anthropic/claude-sonnet-4-20250514，便可尝试调用Claude；使用Google模型时，按LiteLLM当前支持的模型表填写Gemini对应名称。不同模型的上下文长度、工具调用和参数支持可能不同，切换后要留意服务商的限制。

实际项目可以把模型名设为变量，再根据任务、预算或速度选择目标模型。比如先用轻量模型处理分类，复杂问题再交给能力更强的模型；每次请求仍传入同样结构的messages。这里的“统一调用”指接口与调用方式统一，并不代表所有模型能力、价格或返回行为完全相同。可先用简单提示词测试，再接入正式业务。

第三步：搭建统一代理服务

如果多个应用都要访问模型，可以启动LiteLLM代理，集中管理上游模型配置。安装代理组件可执行pip install 'litellm[proxy]'。接着新建config.yaml，写入模型列表和上游密钥引用；密钥仍建议通过环境变量提供，不要明文放进配置文件。配置里为每个模型设置一个应用侧使用的别名，后续请求就调用别名即可。

配置示例可以按实际服务商和型号调整：model_list:
　- model_name: chat-gpt
　　litellm_params:
　　　model: openai/gpt-4o
　　　api_key: os.environ/OPENAI_API_KEY。保存后，在终端设置密钥，再运行litellm --config config.yaml。启动前核对缩进、模型名称和变量名；若端口被占用或配置校验失败，根据终端提示修正后重启服务。

代理启动后，应用可把OpenAI客户端的基础地址指向本机代理地址，例如http://localhost:4000，请求中的模型填写chat-gpt。部署到服务器时，别直接把代理暴露给公网；应设置访问认证，并通过防火墙或反向代理限制访问范围。也要为服务配置日志、超时与额度管理，方便排错和控制成本。LiteLLM代理提供统一接口，也可集中管理模型调用。

若希望减少自行申请、配置多家模型密钥的步骤，也可以了解国内替代方案01Agent，先查看支持的模型、调用方式和费用，再决定是否适合项目。官网：01agent.cgref.cn。无论使用SDK、代理还是第三方服务，都建议先用少量请求验证效果与成本。润灭建议新手先跑通单模型示例，再逐步增加模型和代理权限，避免一上来就把复杂配置堆在一起。