PawBench：當Agent評測從“選模型”進化到“選組合”，通義如何用交叉矩陣量化框架的6.4分價值

PawBench 是通義實驗室開源的通用智慧體評測基準，它率先將底座模型與執行框架納入同一座標系，用9個模型×3個Harness×150道任務的交叉矩陣，首次量化了框架差異對Agent表現的影響可達6.4分。PawBench v1.0聚合6個高質量評測集構建了4050個測試單元，透過五維標籤體系和“規則斷言+LLM-as-judge”混合評分機制，讓Harness開發者能夠精準定位框架在Skill載入、路徑感知等環節的缺陷，並從Overall、Text、Multimodal三個切片榜單中透視模型與框架的真實協同效果。這一基準的釋出，標誌著智慧體評測正式從“模型單維度競賽”跨入“模型×框架協同診斷”的新階段。

PawBench的設計動機：當框架不再是透明的管道

傳統Agent評測預設框架是“無損通道”，只需固定Harness比較模型分數。但實際使用中，同一模型在不同框架上的表現可能相差數個點——這個差值甚至超過一次模型版本升級。PawBench透過構建三維交叉評測空間（模型×Harness×任務），用控制變數法剝離框架貢獻度，讓行業第一次看清：一個Agent最終呈現的能力，有一半來自Harness的工程智慧。其150道任務並非簡單堆砌，而是從6個現有Agent評測集中精選聚合而來，避免重複造輪子，同時透過人工標註構建了應用場景、原子能力、複雜度、輸入模態、執行環境五維標籤，支援任何維度的切片分析。

PawBench的五維標籤體系與任務設計

PawBench將每道任務標註為五個維度，這讓基準從“總分排名機”變成了“診斷CT”。具體而言：

• 應用場景：覆蓋辦公協同、軟體工程、自動化指令碼、Web搜尋、Skill呼叫等，模擬個人助理和開發Agent的真實工作流。
• 原子能力：分解為推理、規劃、工具呼叫、程式碼生成、多模態理解，幫助定位能力短板是在“想”還是“做”環節。
• 複雜度：分為L1單步指令、L2多步協同、L3開放探索，難度遞進反映真實任務從簡單到無先例的漸變。
• 輸入模態：區分純文字（124題）和多模態含影象/音訊（26題），分別檢驗框架對多模態管線的支援程度。
• 執行環境：涵蓋Docker沙箱、Web瀏覽器、檔案系統、API端點等，考察Harness在不同工具生態下的適配韌性。

這種結構化標註讓開發者可以單獨抽出“多模態+軟體工程+L2複雜度”的子集觀察框架表現，告別面對一個籠統分數無從下手的困境。

PawBench的評測技術棧：交叉矩陣、混合評分與全量軌跡

PawBench的技術核心是一個9個模型×3個Harness×150道任務的三維評測空間，透過控制變數法將模型能力與框架貢獻解耦。在每個測試單元中，Agent在獨立Docker容器中執行任務，系統捕獲執行軌跡、workspace檔案變更和grader產物，確保失敗可逐層回溯。評分上，PawBench採用雙軌機制：規則斷言針對檔案生成、欄位匹配、exit code等硬性指標進行確定性驗證，杜絕“虛假完工”；LLM-as-judge則對程式碼質量、回覆邏輯等開放性維度進行語義評估，兩者加權歸一化到0-1分數，兼顧客觀與靈活。

PawBench的功能與診斷閉環

• 聯合評測矩陣：在同一基準上跑通模型×Harness的所有組合，輸出聯合效果排名，揭示最佳搭檔。
• 多切片榜單：Overall（150題）、Text（124題）、Multimodal（26題）三個榜單自由切換，滿足不同關注點。
• 全量軌跡保留：每道題的Docker沙箱快照、執行日誌和校驗產物完整儲存，為失敗覆盤提供完整現場。
• 深度診斷分析：按模型規模、模態、任務複雜度、技能領域等維度下鑽，定位框架在Skill載入延遲、路徑感知盲區、Web工具預設配置等方面的具體行為缺陷。
• 零門檻開箱評測：還原首次clone後的預設環境，不追求“配齊所有API Key的理論上限”，反映真實體驗。
• 持續迴歸驗證：Harness每次修復後重新切片跑分，驗證最佳化是否在目標維度真正生效，形成“診斷-修復-驗證”閉環。

PawBench與主流Agent評測基準的對比

我們將PawBench與SWE-bench、AgentBench進行系統性比較，三者在Agent評測生態中分別扮演不同角色。

從對比可見，PawBench的差異化價值在於“框架診斷”這一空白地帶。當Harness開發者在PawBench上發現框架得分異常時，可透過五維切片迅速鎖定是Skill載入機制、路徑感知邏輯還是Web工具預設可用性出了問題，這是SWE-bench和AgentBench所不具備的深度。

PawBench的應用場景與行業價值

• Harness框架迭代：開發者每次提交修復後重新切片跑分，驗證最佳化是否在目標維度上真正生效，形成資料驅動的開發流程。
• 模型與框架選型決策：團隊根據自身業務場景選擇對應任務切片，橫向對比不同模型×Harness組合的實際表現，避免“模型強但框架拖後腿”的選型失誤。
• 小模型反超大模型路徑驗證：PawBench揭示的6.4分框架差距，為透過最佳化Harness讓輕量模型超越重量模型提供了量化依據和驗證平臺。
• 多模態Agent管線測試：Multimodal切片幫助開發者檢驗框架對影象、音訊等模態輸入的處理能力和工具鏈完整性。
• 學術與工業研究：提供可復現的交叉評測框架，推動Agent技術從“拼模型”到“拼系統”的認知升級。

PawBench的生態定位與展望

PawBench的出現填補了Agent評測中“有模型無框架”的結構性空白。它不追求任務數量的規模效應，而是透過精巧的交叉矩陣和五維診斷能力，讓行業意識到框架不是透明管道，而是決定Agent能力上限的關鍵變數。隨著Agent從Demo走向生產，Harness將承擔作業系統的角色，對它的獨立評測將成為剛需。PawBench為這一趨勢提供了方法論基礎和工具支撐，後續若持續擴充套件任務覆蓋面和Harness相容列表，有望成為智慧體協同最佳化領域的通用基礎設施。