PlanningBench：腾讯混元如何用约束驱动框架，量化大模型从“看起来合理”到“真的可执行”的规划能力

PlanningBench 是腾讯混元团队联合中国人民大学高瓴人工智能学院等机构开源的大模型规划能力评测与训练框架。它首次将规划任务从“能否生成方案”推进到“方案是否真的可执行”，通过覆盖六大类真实场景、三层难度约束体系和闭环数据生成流水线，为模型提供可自动验证的规划能力诊断与强化学习训练信号。PlanningBench 不仅揭示了当前大模型在复杂约束下“局部正确但全局不可行”的普遍缺陷，更用300条高质量样本证明，精准的规划训练可以显著提升模型在外部规划基准和通用指令遵循任务上的表现。

PlanningBench 的设计背景：大模型为什么需要专门的规划评测

大语言模型在开放式对话和简单推理任务上已取得惊人进展，但一旦进入需要协调时间窗口、资源限制、优先级冲突和依赖关系的实际规划场景，表现往往从“流畅”断崖式下跌为“不可用”。传统评测多以带参考答案的选择题或简短生成任务为主，无法检验方案的可执行性。PlanningBench 从企业排产、医疗调度、个人日程等真实场景中抽象出可复用的问题结构，用约束清单替代人工判分，使得每一项约束的满足情况都可自动、精确地计算，从而将规划能力的度量从“像不像人写的”拉回到“能不能落地执行”。

PlanningBench 的核心设计：六大任务家族与三层约束体系

PlanningBench 将规划问题归纳为日程排布、资源分配、人力排班、路径调度、生产运营、应急服务六大任务家族，每个家族下细分出30余种具体任务类型。框架的独特之处在于，它不靠堆砌问题数量来提高评测难度，而是通过对约束的精细分层来控制任务复杂度。

• 基础约束层：确保方案满足完整性、时间窗口和资源总量等刚性条件，是所有规划的基础门槛。
• 中等约束层：引入公平性、负载均衡、成本优化等软性目标，要求模型在多目标之间进行权衡。
• 困难约束层：加入异常恢复、最小变更重规划、不可行识别和鲁棒性设计，测试模型在动态变化和冲突消解中的推理深度。

通过采样不同层级的约束组合，PlanningBench 能够按需生成从入门到专家级的规划问题，并且难度提升始终围绕“约束耦合度”和“资源冲突强度”这两个真实规划的核心维度，避免了单纯靠增加文本长度来制造假难度。

PlanningBench 的技术创新：Generator-Responder-Critic 闭环合成流程

PlanningBench 的数据生成并非一次性标注产物，而是一个由三个角色协作的持续演化系统。Generator 根据预设的任务模板和约束池随机组合出全新的规划问题，并附带一份结构化的验证清单；Responder 调用目标模型进行解答；Critic 则依据 checklist 逐项核验答案是否满足全部要求。如果方案完全通过，系统会自动抽取更复杂的约束组合以提升下一次的难度；如果未通过，该样本会被保留为挑战性数据。这种闭环机制让 PlanningBench 成为一个能主动寻找模型能力边界、随时间不断进化的动态基准，极大降低了人工标注的成本和主观偏差。

PlanningBench 的评测与训练一体化能力

PlanningBench 不仅是一个评测集，更是一套训练数据工厂。每一道自动生成的问题都天然携带可执行的验证脚本，这些脚本可以直接作为强化学习（如 GRPO）的奖励函数。实验表明，仅用300条 PlanningBench 样本进行 GRPO 训练，模型在外部规划基准上的 All-pass 率有明显跃升，甚至在通用指令遵循任务上也获得了稳定增益。这表明 PlanningBench 所提炼的约束推理和资源协调能力具有很强的迁移性，能够帮助模型在更广泛的 Agent 场景中学会“先想清楚再行动”。

PlanningBench 与主流 Agent 评测框架的对比

为了更清晰地展示 PlanningBench 的定位，我们将其与同样是通用智能体评测的 AgentBench 进行对比。两者的核心差异在于：PlanningBench 专注射箭（规划精度），AgentBench 考察十项全能（环境交互广度）。

从上表可以看出，PlanningBench 并非 AgentBench 的竞品，而是互补关系。若将 AgentBench 比作考察模型“在外界环境中的生存能力”，PlanningBench 则深入检测模型的“前额叶皮层”——在做任何行动之前，能否制定出真正可执行的计划。

PlanningBench 的应用前景与生态价值

• 模型能力诊断：帮助研发团队量化模型的规划短板，在排产、物流、资源分配等商业场景中提前预判模型是否具备落地基础。
• 智能体可靠性提升：为 AI Agent 提供可验证的规划训练，使其在执行长链路任务前能够生成经过约束检验的行动方案，降低异常中断率。
• 人机协同规划：在医疗排班、应急调度等高风险领域，PlanningBench 生成的可解释约束清单可以作为人机协商的中间语言，提升协同效率。
• 学术研究基础设施：作为开源且可自演化的规划基准，PlanningBench 能够支持可复现的规划能力比较，推动大模型在符号化推理和约束满足上的研究。

PlanningBench 的当前局限与未来方向

PlanningBench 目前主要聚焦于静态规划，对需要实时环境反馈的动态重规划支持有限；任务类型虽涵盖六大领域，但每个领域内的多样性仍可进一步扩展。未来若能引入概率性约束、多方博弈规划和与外部工具的真实交互接口，PlanningBench 有望成长为端到端智能体规划能力的通用测试平台。腾讯混元团队在开源社区持续维护该框架，规划任务集和约束生成器仍在迭代中，这为全球研究者提供了一个观测大模型“计划理性”成长过程的珍贵窗口。