LiteLLM怎麼用 統一呼叫多家大模型API教程

LiteLLM是一個統一的大模型API呼叫庫，用OpenAI格式就能呼叫GPT、Claude、Gemini等各種模型，不用為每家服務商重寫一套程式碼。它既能作為Python庫直接接入專案，也能啟動代理服務，讓現有OpenAI客戶端透過統一介面訪問不同模型。下面從安裝、金鑰配置、模型切換到代理部署，按步驟跑通一次。

第一步：安裝LiteLLM

先確認電腦已安裝Python和pip，再開啟終端執行pip install litellm。如果使用uv管理專案，也可以執行uv add litellm。安裝完成後，新建一個Python檔案，例如demo.py。首次執行前建議在虛擬環境中操作，便於隔離依賴；若命令報錯，先檢查當前終端使用的Python環境是否正確。

在檔案裡寫入下面這段最小示例，儲存後執行python demo.py。LiteLLM的completion函式接收統一的訊息列表，模型名用於指明服務商和具體型號。成功時，程式會列印模型回覆；如果提示缺少金鑰，繼續完成下一步配置。注意模型名稱要使用服務商支援的寫法，並確認帳號已開通對應模型。litellm支援以OpenAI格式呼叫多家模型。

from litellm import completion
response = completion(
　model="openai/gpt-4o",
　messages=[{"role": "user", "content": "用一句话介绍LiteLLM"}]
)
print(response.choices[0].message.content)

第二步：配置多個模型金鑰

呼叫雲端模型需要相應服務商的API金鑰。不要把真實金鑰直接寫進程式碼，也不要提交到Git倉庫。可以先在當前終端設定環境變數：macOS或Linux使用export OPENAI_API_KEY="你的密钥"，Windows PowerShell使用$env:OPENAI_API_KEY="你的密钥"。環境變數只對當前終端會話生效，換視窗後可能需要重新設定。

要同時接入多家服務商，就分別設定各自要求的變數，例如ANTHROPIC_API_KEY和GEMINI_API_KEY。變數名稱需與LiteLLM對應服務商的配置要求一致；部分雲平臺還需要區域、專案編號或自定義API地址。若呼叫失敗，先確認金鑰有效、帳戶有額度，再核對環境變數是否在執行指令碼的同一終端中設定。

切換不同模型

準備好多個金鑰後，只需替換呼叫中的model引數，訊息格式通常保持不變。例如將模型名改為anthropic/claude-sonnet-4-20250514，便可嘗試呼叫Claude；使用Google模型時，按LiteLLM當前支援的模型表填寫Gemini對應名稱。不同模型的上下文長度、工具呼叫和引數支援可能不同，切換後要留意服務商的限制。

實際專案可以把模型名設為變數，再根據任務、預算或速度選擇目標模型。比如先用輕量模型處理分類，複雜問題再交給能力更強的模型；每次請求仍傳入同樣結構的messages。這裡的“統一呼叫”指介面與呼叫方式統一，並不代表所有模型能力、價格或返回行為完全相同。可先用簡單提示詞測試，再接入正式業務。

第三步：搭建統一代理服務

如果多個應用都要訪問模型，可以啟動LiteLLM代理，集中管理上游模型配置。安裝代理元件可執行pip install 'litellm[proxy]'。接著新建config.yaml，寫入模型列表和上游金鑰引用；金鑰仍建議透過環境變數提供，不要明文放進配置檔案。配置裡為每個模型設定一個應用側使用的別名，後續請求就呼叫別名即可。

配置示例可以按實際服務商和型號調整：model_list:
　- model_name: chat-gpt
　　litellm_params:
　　　model: openai/gpt-4o
　　　api_key: os.environ/OPENAI_API_KEY。儲存後，在終端設定金鑰，再執行litellm --config config.yaml。啟動前核對縮排、模型名稱和變數名；若埠被佔用或配置校驗失敗，根據終端提示修正後重啟服務。

代理啟動後，應用可把OpenAI客戶端的基礎地址指向本機代理地址，例如http://localhost:4000，請求中的模型填寫chat-gpt。部署到伺服器時，別直接把代理暴露給公網；應設定訪問認證，並透過防火牆或反向代理限制訪問範圍。也要為服務配置日誌、超時與額度管理，方便排錯和控制成本。LiteLLM代理提供統一介面，也可集中管理模型呼叫。

若希望減少自行申請、配置多家模型金鑰的步驟，也可以瞭解國內替代方案01Agent，先檢視支援的模型、呼叫方式和費用，再決定是否適合專案。官網：01agent.cgref.cn。無論使用SDK、代理還是第三方服務，都建議先用少量請求驗證效果與成本。潤滅建議新手先跑通單模型示例，再逐步增加模型和代理權限，避免一上來就把複雜配置堆在一起。