Polar：英偉達開源的智慧體強化學習訓練框架，零侵入接入RL訓練
更新時間:2026-10-16 05:37:33 釋出時間:135天前 閱讀:109 views次Polar 是英偉達推出的開源智慧體強化學習（Agentic RL）訓練框架，核心創新在於無需修改現有智慧體框架內部程式碼，可將其接入 GRPO 等 RL 演算法進行訓練。框架透過在 LLM API 呼叫邊界放置代理，捕獲 token 級互動資料並重建訓練軌跡，使 Codex CLI、Claude Code、Qwen Code、Pi 等複雜程式碼智慧體 harness 直接變為可訓練的 RL 環境。
Polar是什麼：零侵入的智慧體強化學習基礎設施
Polar 是英偉達推出的開源智慧體強化學習訓練框架，核心創新在於無需修改現有智慧體框架內部程式碼，可將其接入 GRPO 等 RL 演算法進行訓練。框架透過在 LLM API 呼叫邊界放置代理，捕獲 token 級互動資料並重建訓練軌跡，使 Codex CLI、Claude Code、Qwen Code、Pi 等複雜程式碼智慧體 harness 直接變為可訓練的 RL 環境。
Polar的主要功能
- API 代理捕獲：在智慧體與推理伺服器之間插入相容 Anthropic、OpenAI、Google 風格的 API 代理，透明轉發請求並記錄 prompts、sampled tokens、log probabilities 和 responses。
- 軌跡重建：提供 per-request（逐請求）和 prefix merging（字首合並）兩種策略，將多輪模型呼叫重建為訓練器可直接消費的 RL 軌跡。
- 非同步服務架構：Rollout Server 負責任務排程與負載均衡，Gateway Nodes 負責執行時預熱、智慧體執行、軌跡構建和評估，解耦訓練與執行。
- 多 Harness 相容：內建 Claude Code、Codex、Qwen Code、OpenCode、Pi、Gemini CLI 等主流程式碼智慧體的快捷適配。
- 容器化執行時：支援 Docker 和 rootless Apptainer，提供隔離執行環境。
Polar的技術原理
- 黑盒代理正規化：Polar 不將智慧體 harness 改寫為 env.init()/env.step() 介面，而是將 LLM API 流量作為 rollout 邊界，保持 harness 原生執行邏輯不變。
- Token 保真軌跡重建：直接從推理後端獲取 token IDs 和 log probabilities，避免 retokenization drift（重編碼漂移），確保訓練訊號與行為策略嚴格對齊。
- Prefix Merging 演算法：檢測多輪對話中 prompt 的 token-prefix 關係，將 append-only 的對話鏈合併為更長的訓練軌跡，減少 trainer 更新次數。
- 非同步分階段執行：Gateway 內部分離 INIT（執行時啟動）、RUN（harness 執行）、POSTRUN（軌跡構建與評估）三個獨立工作池，配合 READY 緩衝區實現執行時預熱與 GPU 訓練並行。
- 權重同步機制：Trainer 與 Inference Server 之間非同步同步模型權重，rollout 在舊策略上持續取樣，trainer 在收到足夠軌跡後執行策略更新。
如何使用Polar
- 部署 Polar 服務：啟動 Rollout Server 和 Gateway Nodes，配置 Inference Server（如 SGLang）。
- 配置 Harness：將目標智慧體（如 Codex CLI）的模型 base URL 指向 Polar Gateway 代理端點。
- 編寫介面卡：建立 harness adapter，通常只需配置環境變數、provider 設定和啟動命令。
- 提交訓練任務：透過 Polar API 提交 TaskRequest，指定 harness、執行時、評估器和軌跡構建策略。
- 接入 Trainer：訓練框架（如 Slime、Megatron）透過回呼接收 Polar 返回的軌跡資料，執行 GRPO 等 RL 演算法更新。
Polar的核心優勢
- 零侵入整合：無需修改現有智慧體框架原始碼，降低接入 RL 訓練的技術門檻。
- Harness 無關性：相容任意基於 LLM API 的智慧體，包括閉源二進位制程式。
- 高效資源利用：非同步架構使 CPU 密集型執行時準備不阻塞 GPU 訓練，prefix merging 將訓練時間縮短約 5.39 倍。
- Token 級保真：直接從推理後端捕獲原始 token，避免文字重編碼帶來的訓練訊號失真。
- 彈性擴充套件：Rollout-as-a-service 設計支援大規模分散式非同步 RL 訓練。
Polar的同類競品對比
我們將 Polar 與 SkyRL-Agent、Agent Lightning 進行對比，其在零侵入整合和軌跡保真度方面的優勢一目瞭然：
| 維度 | Polar（英偉達） | SkyRL-Agent | Agent Lightning |
|---|---|---|---|
| 核心定位 | Rollout-as-a-Service 基礎設施 | 全棧多輪 Agent RL 訓練與評估系統 | 訓練-智慧體解耦架構 + 統一資料介面 |
| 整合侵入性 | 零侵入：API 代理攔截，無需改 harness 原始碼 | 需重寫：需將 agent 適配到 Gymnasium 風格介面 | 低侵入：需接入標準追蹤介面或 SDK 回呼 |
| Harness 相容性 | 任意黑盒 harness（含閉源二進位制） | 僅限框架內實現的 agent | 需符合預設介面的 agent |
| Rollout 邊界 | LLM API 流量邊界 | Agent 執行邏輯內部 | Agent 執行追蹤層 |
| 非同步架構 | 原生非同步服務邊界（Server + Gateway Nodes） | 支援非同步，但 agent 與訓練緊耦合 | 有限非同步支援 |
| 軌跡重建 | Token 保真 + Prefix Merging（減少 trainer 更新） | 框架內直接生成軌跡 | 統一資料介面轉換 |
| 執行時隔離 | Docker / Apptainer | 支援容器化 | 未明確 |
| 訓練演算法耦合 | 與演算法無關（GRPO / PPO 等均可接入） | 內建演算法最佳化 | 與演算法無關 |
| 代表場景 | Codex、Claude Code、Qwen Code 等現成 harness 的 RL 訓練 | 長流程多輪工具使用 agent 訓練 | 跨框架 agent 訓練資料收集 |
Polar 的最大差異化在於其零侵入的 API 代理設計，無需修改任何現有智慧體程式碼即可接入 RL 訓練，同時透過 token 保真軌跡重建和 prefix merging 演算法顯著提升訓練效率，尤其適合對 Claude Code、Codex 等成熟程式碼智慧體進行快速強化學習微調。
Polar的應用場景
- 程式碼智慧體強化學習：對 Codex、Claude Code 等程式設計助手進行 RL 微調，提升 SWE-Bench 等軟體工程 benchmark 表現。
- 多輪工具使用 Agent 訓練：訓練需要持續呼叫外部工具（瀏覽器、資料庫、API）的長流程智慧體。
- 離線 SFT 資料生成：利用 Polar 在自定義 harness 上批次生成高質量訓練資料，用於監督微調。
- 多智慧體協作最佳化：對包含子智慧體編排和上下文壓縮的複雜多 Agent 系統進行端到端 RL 訓練。
- 閉源 Agent 評估與改進：對無法獲取原始碼的閉源智慧體產品進行黑盒 RL 訓練和能力提升。
Polar總結
Polar 作為英偉達推出的開源智慧體強化學習訓練框架，透過創新的 API 代理機制實現了對現有智慧體的零侵入 RL 接入，大幅降低了訓練門檻。其非同步服務架構、token 級保真軌跡重建和 prefix merging 演算法共同保障了訓練的高效與精準。無論是開源還是閉源的程式碼智慧體，Polar 都能將其無縫轉化為可訓練的 RL 環境，為智慧體能力的持續進化提供了堅實且易用的基礎設施。
