PlanningBench：騰訊混元如何用約束驅動框架，量化大模型從“看起來合理”到“真的可執行”的規劃能力

PlanningBench 是騰訊混元團隊聯合中國人民大學高瓴人工智慧學院等機構開源的大模型規劃能力評測與訓練框架。它首次將規劃任務從“能否生成方案”推進到“方案是否真的可執行”，透過覆蓋六大類真實場景、三層難度約束體系和閉環資料生成流水線，為模型提供可自動驗證的規劃能力診斷與強化學習訓練訊號。PlanningBench 不僅揭示了當前大模型在複雜約束下“區域性正確但全域性不可行”的普遍缺陷，更用300條高質量樣本證明，精準的規劃訓練可以顯著提升模型在外部規劃基準和通用指令遵循任務上的表現。

PlanningBench 的設計背景：大模型為什麼需要專門的規劃評測

大語言模型在開放式對話和簡單推理任務上已取得驚人進展，但一旦進入需要協調時間視窗、資源限制、優先順序衝突和依賴關係的實際規劃場景，表現往往從“流暢”斷崖式下跌為“不可用”。傳統評測多以帶參考答案的選擇題或簡短生成任務為主，無法檢驗方案的可執行性。PlanningBench 從企業排產、醫療排程、個人日程等真實場景中抽象出可複用的問題結構，用約束清單替代人工判分，使得每一項約束的滿足情況都可自動、精確地計算，從而將規劃能力的度量從“像不像人寫的”拉回到“能不能落地執行”。

PlanningBench 的核心設計：六大任務家族與三層約束體系

PlanningBench 將規劃問題歸納為日程排布、資源分配、人力排班、路徑排程、生產運營、應急服務六大任務家族，每個家族下細分出30餘種具體任務型別。框架的獨特之處在於，它不靠堆砌問題數量來提高評測難度，而是透過對約束的精細分層來控制任務複雜度。

• 基礎約束層：確保方案滿足完整性、時間視窗和資源總量等剛性條件，是所有規劃的基礎門檻。
• 中等約束層：引入公平性、負載均衡、成本最佳化等軟性目標，要求模型在多目標之間進行權衡。
• 困難約束層：加入異常恢復、最小變更重規劃、不可行識別和魯棒性設計，測試模型在動態變化和衝突消解中的推理深度。

透過取樣不同層級的約束組合，PlanningBench 能夠按需生成從入門到專家級的規劃問題，並且難度提升始終圍繞“約束耦合度”和“資源衝突強度”這兩個真實規劃的核心維度，避免了單純靠增加文字長度來製造假難度。

PlanningBench 的技術創新：Generator-Responder-Critic 閉環合成流程

PlanningBench 的資料生成並非一次性標註產物，而是一個由三個角色協作的持續演化系統。Generator 根據預設的任務模板和約束池隨機組合出全新的規劃問題，並附帶一份結構化的驗證清單；Responder 呼叫目標模型進行解答；Critic 則依據 checklist 逐項核驗答案是否滿足全部要求。如果方案完全透過，系統會自動抽取更復雜的約束組合以提升下一次的難度；如果未透過，該樣本會被保留為挑戰性資料。這種閉環機制讓 PlanningBench 成為一個能主動尋找模型能力邊界、隨時間不斷進化的動態基準，極大降低了人工標註的成本和主觀偏差。

PlanningBench 的評測與訓練一體化能力

PlanningBench 不僅是一個評測集，更是一套訓練資料工廠。每一道自動生成的問題都天然攜帶可執行的驗證指令碼，這些指令碼可以直接作為強化學習（如 GRPO）的獎勵函式。實驗表明，僅用300條 PlanningBench 樣本進行 GRPO 訓練，模型在外部規劃基準上的 All-pass 率有明顯躍升，甚至在通用指令遵循任務上也獲得了穩定增益。這表明 PlanningBench 所提煉的約束推理和資源協調能力具有很強的遷移性，能夠幫助模型在更廣泛的 Agent 場景中學會“先想清楚再行動”。

PlanningBench 與主流 Agent 評測框架的對比

為了更清晰地展示 PlanningBench 的定位，我們將其與同樣是通用智慧體評測的 AgentBench 進行對比。兩者的核心差異在於：PlanningBench 專注射箭（規劃精度），AgentBench 考察十項全能（環境互動廣度）。

從上表可以看出，PlanningBench 並非 AgentBench 的競品，而是互補關係。若將 AgentBench 比作考察模型“在外界環境中的生存能力”，PlanningBench 則深入檢測模型的“前額葉皮層”——在做任何行動之前，能否制定出真正可執行的計劃。

PlanningBench 的應用前景與生態價值

• 模型能力診斷：幫助研發團隊量化模型的規劃短板，在排產、物流、資源分配等商業場景中提前預判模型是否具備落地基礎。
• 智慧體可靠性提升：為 AI Agent 提供可驗證的規劃訓練，使其在執行長鏈路任務前能夠生成經過約束檢驗的行動方案，降低異常中斷率。
• 人機協同規劃：在醫療排班、應急排程等高風險領域，PlanningBench 生成的可解釋約束清單可以作為人機協商的中間語言，提升協同效率。
• 學術研究基礎設施：作為開源且可自演化的規劃基準，PlanningBench 能夠支援可復現的規劃能力比較，推動大模型在符號化推理和約束滿足上的研究。

PlanningBench 的當前侷限與未來方向

PlanningBench 目前主要聚焦於靜態規劃，對需要實時環境反饋的動態重規劃支援有限；任務型別雖涵蓋六大領域，但每個領域內的多樣性仍可進一步擴充套件。未來若能引入機率性約束、多方博弈規劃和與外部工具的真實互動介面，PlanningBench 有望成長為端到端智慧體規劃能力的通用測試平臺。騰訊混元團隊在開源社群持續維護該框架，規劃任務集和約束生成器仍在迭代中，這為全球研究者提供了一個觀測大模型“計劃理性”成長過程的珍貴視窗。