PawBench：当Agent评测从“选模型”进化到“选组合”，通义如何重新定义智能体基准测试

PawBench 是通义实验室推出的通用智能体评测基准，首次将底座模型与运行框架纳入同一评测坐标系，打破了行业长期“只评模型、不评框架”的惯性。该基准构建了150道真实任务、4050个测试单元的评测集，通过9个模型与3个Harness的交叉矩阵，量化揭示了框架差异对Agent表现的影响幅度最高可达6.4分——这一数字堪比一次重大模型版本升级。PawBench的发布，标志着智能体评测从“模型能力单维度竞赛”正式进入“模型×框架协同优化”的新阶段。

PawBench的设计哲学：为什么Agent评测必须同时考虑模型和框架

主流Agent评测基准长期聚焦于模型能力本身，通过固定一套运行框架来横向对比不同模型的任务完成率。这种范式存在一个隐含假设——框架是透明、无损的管道，不会显著影响模型表现。然而通义团队在实践中发现，同一模型在不同Harness下的得分波动可达数个点，部分差距甚至超过模型代际升级的幅度。这意味着，一个被广泛引用的“模型排名”可能有一半是框架能力的映射，而非模型本身的实力。

PawBench的设计出发点正是打破这一假设。它构建了一个9模型×3Harness×150任务的三维评测矩阵，通过控制变量法将模型贡献与框架贡献解耦。在这种设计下，评测结果不再是一个笼统的总分，而是一组可按模型规模、模态类型、任务复杂度、技能领域等维度自由切片的数据集，为Harness开发者提供了精准定位框架缺陷的量化依据。

PawBench的任务体系：从6个评测集聚合到五维标签覆盖

PawBench v1.0的任务集并非从零构建，而是从6个高质量Agent评测集中精选聚合而成，这种“继承+重组”的方式既保证了任务的多样性和真实感，又避免了重复造轮子。150道任务覆盖了个人助理与自动化Agent的核心场景，经人工标注后形成五维标签体系。

五维标签体系的价值不仅在于分类，更在于支持多维度交叉切片。Harness开发者可以单独查看“多模态+软件工程+L2复杂度”的子集表现，精准定位框架在特定场景下的行为缺陷，而非面对一个笼统的总分无从下手。

PawBench的评分机制：规则断言与LLM-as-judge的混合架构

Agent任务的评分远比传统NLP基准复杂——一个任务是否“完成”往往需要结合环境状态、产物质量和过程合理性进行综合判断。PawBench采用了“规则断言+LLM-as-judge”的混合评分策略，平衡确定性与灵活性。

• 规则断言：针对可量化的硬指标进行判定，包括文件是否生成、字段是否匹配、exit code是否为零、diff是否正确应用等。这类评分具有确定性和可复现性，杜绝“虚假完工”。
• LLM-as-judge语义评估：对代码质量、回复逻辑、任务完成度等软性指标进行语义级评判，弥补规则断言在开放性任务中的盲区。
• 混合权重计算：两类评分加权汇总，最终分数归一化到0至1区间，兼顾客观性与灵活性。

PawBench的核心功能与诊断能力

• 联合评测矩阵：在同一基准上跑通9个模型×3个Harness×150道任务的完整交叉实验，输出模型与框架的联合效果排名。
• 全量轨迹保留：每个测试单元在独立Docker容器中执行，完整记录执行轨迹、grader产物、workspace文件变更和环境快照，失败案例可逐层回溯复盘。
• 多切片榜单：支持Overall（150题）、Text（124题）、Multimodal（26题）三个维度自由切换，榜单数据可追溯至具体任务实例。
• 深度诊断分析：按模型规模、模态类型、任务复杂度、原子能力等维度下钻，定位Harness在Skill加载、路径感知、工具默认可用性等方面的具体行为缺陷。
• 零门槛开箱评测：还原开发者首次clone后的默认体验，不追求“配齐所有API Key的理论上限”，反映真实使用场景下的表现。
• 持续回归验证：Harness每次修复后可重新切片跑分，验证优化是否真实对应到问题维度，形成“诊断-修复-验证”的闭环。

PawBench的使用流程

• 环境准备：克隆GitHub仓库后配置待测模型的API密钥和Harness运行环境。
• 任务选择：从150道任务中按需选择全量或特定切片（如仅Text模态、仅L2-L3复杂度等）。
• 执行评测：所有任务在Docker沙箱中运行，系统自动捕获执行轨迹与环境快照。
• 获取评分：自动评分器与LLM-as-judge分别打分后计算混合权重最终分数。
• 诊断分析：按五维标签下钻查看Harness在不同场景下的表现差异，定位具体缺陷。
• 提交榜单：访问官方Leaderboard页面提交结果，查看模型×Harness组合排名。

PawBench在评测生态中的差异化定位

将PawBench与当前主流的Agent评测基准进行对比，其核心差异在于“是否将框架纳入评测”以及“是否提供框架诊断能力”。

从对比中可见，PawBench的差异化优势集中在“框架诊断”这一空白领域。当Harness开发者发现自己的框架在某个模型上得分异常时，可以通过五维标签切片快速锁定是Skill加载机制有问题、路径感知逻辑有漏洞，还是Web工具的默认配置不合理。这种能力是SWE-bench和AgentBench等传统基准所不具备的。

PawBench的典型应用场景

• Harness框架迭代优化：开发者提交修复后重新切片跑分，验证优化是否在目标维度上真实生效，形成数据驱动的开发闭环。
• 模型与框架选型决策：团队可根据自身业务场景选择对应的任务切片，横向对比不同模型×Harness组合的实际表现，做出最优技术栈选择。
• 小模型反超路径探索：PawBench揭示的6.4分框架差距意味着，一个经过精心优化的轻量级模型完全可能在特定场景下超越未经调优的大模型，为端侧部署提供量化依据。
• 学术研究与基准共建：作为开源项目，PawBench提供可复现的交叉评测框架，研究者可基于这一基础设施探索模型与框架的协同进化机制。

PawBench的生态价值与未来方向

PawBench的发布填补了Agent评测领域“有模型无框架”的结构性空白。其贡献不在于任务数量或覆盖面，而在于首次将“框架也是评测对象”这一理念落地为可执行的基准工具。随着Agent应用从demo走向生产，Harness的角色将从“薄薄的调用层”演变为“任务执行的操作系统”，对框架能力的独立评测将变得越来越重要。PawBench为这一趋势提供了方法论基础和工具支撑，后续若能持续扩展任务覆盖面和Harness兼容列表，有望成为智能体评测领域的通用基础设施。