PawBench：當Agent評測從“選模型”進化到“選組合”，通義如何重新定義智慧體基準測試

PawBench 是通義實驗室推出的通用智慧體評測基準，首次將底座模型與執行框架納入同一評測座標系，打破了行業長期“只評模型、不評框架”的慣性。該基準構建了150道真實任務、4050個測試單元的評測集，透過9個模型與3個Harness的交叉矩陣，量化揭示了框架差異對Agent表現的影響幅度最高可達6.4分——這一數字堪比一次重大模型版本升級。PawBench的釋出，標誌著智慧體評測從“模型能力單維度競賽”正式進入“模型×框架協同最佳化”的新階段。

PawBench的設計哲學：為什麼Agent評測必須同時考慮模型和框架

主流Agent評測基準長期聚焦於模型能力本身，透過固定一套執行框架來橫向對比不同模型的任務完成率。這種正規化存在一個隱含假設——框架是透明、無損的管道，不會顯著影響模型表現。然而通義團隊在實踐中發現，同一模型在不同Harness下的得分波動可達數個點，部分差距甚至超過模型代際升級的幅度。這意味著，一個被廣泛引用的“模型排名”可能有一半是框架能力的對映，而非模型本身的實力。

PawBench的設計出發點正是打破這一假設。它構建了一個9模型×3Harness×150任務的三維評測矩陣，透過控制變數法將模型貢獻與框架貢獻解耦。在這種設計下，評測結果不再是一個籠統的總分，而是一組可按模型規模、模態型別、任務複雜度、技能領域等維度自由切片的資料集，為Harness開發者提供了精準定位框架缺陷的量化依據。

PawBench的任務體系：從6個評測集聚合到五維標籤覆蓋

PawBench v1.0的任務集並非從零構建，而是從6個高質量Agent評測集中精選聚合而成，這種“繼承+重組”的方式既保證了任務的多樣性和真實感，又避免了重複造輪子。150道任務覆蓋了個人助理與自動化Agent的核心場景，經人工標註後形成五維標籤體系。

五維標籤體系的價值不僅在於分類，更在於支援多維度交叉切片。Harness開發者可以單獨檢視“多模態+軟體工程+L2複雜度”的子集表現，精準定位框架在特定場景下的行為缺陷，而非面對一個籠統的總分無從下手。

PawBench的評分機制：規則斷言與LLM-as-judge的混合架構

Agent任務的評分遠比傳統NLP基準複雜——一個任務是否“完成”往往需要結合環境狀態、產物質量和過程合理性進行綜合判斷。PawBench採用了“規則斷言+LLM-as-judge”的混合評分策略，平衡確定性與靈活性。

• 規則斷言：針對可量化的硬指標進行判定，包括檔案是否生成、欄位是否匹配、exit code是否為零、diff是否正確應用等。這類評分具有確定性和可復現性，杜絕“虛假完工”。
• LLM-as-judge語義評估：對程式碼質量、回覆邏輯、任務完成度等軟性指標進行語義級評判，彌補規則斷言在開放性任務中的盲區。
• 混合權重計算：兩類評分加權彙總，最終分數歸一化到0至1區間，兼顧客觀性與靈活性。

PawBench的核心功能與診斷能力

• 聯合評測矩陣：在同一基準上跑通9個模型×3個Harness×150道任務的完整交叉實驗，輸出模型與框架的聯合效果排名。
• 全量軌跡保留：每個測試單元在獨立Docker容器中執行，完整記錄執行軌跡、grader產物、workspace檔案變更和環境快照，失敗案例可逐層回溯覆盤。
• 多切片榜單：支援Overall（150題）、Text（124題）、Multimodal（26題）三個維度自由切換，榜單資料可追溯至具體任務例項。
• 深度診斷分析：按模型規模、模態型別、任務複雜度、原子能力等維度下鑽，定位Harness在Skill載入、路徑感知、工具預設可用性等方面的具體行為缺陷。
• 零門檻開箱評測：還原開發者首次clone後的預設體驗，不追求“配齊所有API Key的理論上限”，反映真實使用場景下的表現。
• 持續迴歸驗證：Harness每次修復後可重新切片跑分，驗證最佳化是否真實對應到問題維度，形成“診斷-修復-驗證”的閉環。

PawBench的使用流程

• 環境準備：克隆GitHub倉庫後配置待測模型的API金鑰和Harness執行環境。
• 任務選擇：從150道任務中按需選擇全量或特定切片（如僅Text模態、僅L2-L3複雜度等）。
• 執行評測：所有任務在Docker沙箱中執行，系統自動捕獲執行軌跡與環境快照。
• 獲取評分：自動評分器與LLM-as-judge分別打分後計算混合權重最終分數。
• 診斷分析：按五維標籤下鑽檢視Harness在不同場景下的表現差異，定位具體缺陷。
• 提交榜單：訪問官方Leaderboard頁面提交結果，檢視模型×Harness組合排名。

PawBench在評測生態中的差異化定位

將PawBench與當前主流的Agent評測基準進行對比，其核心差異在於“是否將框架納入評測”以及“是否提供框架診斷能力”。

從對比中可見，PawBench的差異化優勢集中在“框架診斷”這一空白領域。當Harness開發者發現自己的框架在某個模型上得分異常時，可以透過五維標籤切片快速鎖定是Skill載入機制有問題、路徑感知邏輯有漏洞，還是Web工具的預設配置不合理。這種能力是SWE-bench和AgentBench等傳統基準所不具備的。

PawBench的典型應用場景

• Harness框架迭代最佳化：開發者提交修復後重新切片跑分，驗證最佳化是否在目標維度上真實生效，形成資料驅動的開發閉環。
• 模型與框架選型決策：團隊可根據自身業務場景選擇對應的任務切片，橫向對比不同模型×Harness組合的實際表現，做出最優技術棧選擇。
• 小模型反超路徑探索：PawBench揭示的6.4分框架差距意味著，一個經過精心最佳化的輕量級模型完全可能在特定場景下超越未經調優的大模型，為端側部署提供量化依據。
• 學術研究與基準共建：作為開源專案，PawBench提供可復現的交叉評測框架，研究者可基於這一基礎設施探索模型與框架的協同進化機制。

PawBench的生態價值與未來方向

PawBench的釋出填補了Agent評測領域“有模型無框架”的結構性空白。其貢獻不在於任務數量或覆蓋面，而在於首次將“框架也是評測物件”這一理念落地為可執行的基準工具。隨著Agent應用從demo走向生產，Harness的角色將從“薄薄的呼叫層”演變為“任務執行的作業系統”，對框架能力的獨立評測將變得越來越重要。PawBench為這一趨勢提供了方法論基礎和工具支撐，後續若能持續擴充套件任務覆蓋面和Harness相容列表，有望成為智慧體評測領域的通用基礎設施。