Mellum2：JetBrains開源的混合專家模型，專為軟體工程AI工作流最佳化
更新時間:2026-10-16 05:57:39 釋出時間:135天前 閱讀:91 views次Mellum2 是 JetBrains 推出的開源 混合專家（MoE）模型，總引數量 12B，但每 token 僅啟用 2.5B 引數，專為 軟體工程 AI 工作流 最佳化。它支援 程式碼生成、智慧路由、子 Agent 呼叫 及 本地私有化部署，憑藉低延遲、高吞吐和低成本特性，在 LiveCodeBench 等權威評測中表現領先，是構建企業級 AI 程式設計助手和自動化工作流的高效能選擇。
Mellum2是什麼：專為軟體工程打造的混合專家模型
Mellum2 是 JetBrains 開源的面向軟體工程系統的新一代機器學習模型。模型每 token 僅啟用 2.5B 引數，專為軟體工程 AI 工作流最佳化，支援程式碼生成、智慧路由、子 Agent 呼叫及私有化部署。憑藉低延遲、高吞吐和低成本特性，Mellum2 在 LiveCodeBench 等程式碼評測中表現領先，是構建企業級 AI 程式設計助手和自動化工作流的高效能選擇。
Mellum2的主要功能
- 智慧程式碼生成：基於程式碼和自然語言資料訓練，支援程式碼補全、函式生成與重構建議。
- 雙模式推理：提供 Thinking（深度思考）與 Non-thinking（快速響應）兩種模式，可按需切換以滿足不同任務需求。
- 工作流路由與摘要：充當 AI 工作流的智慧路由器，負責任務分發、文件摘要與中間推理。
- 工具呼叫與 Agent 協作：支援子 Agent 呼叫和工具鏈整合，可嵌入複雜自動化流程。
- 本地私有部署：可在企業內網或本地裝置獨立執行，無需依賴外部 API，保障資料安全。
Mellum2的技術原理
Mellum2 的強大效能源於其精巧的架構設計和先進的訓練策略。
- MoE 稀疏架構：採用 64 專家、每 token 啟用 8 個專家的 Mixture-of-Experts 設計，總引數量 12B，實際啟用僅 2.5B，使推理成本接近 2.5B 密集模型。結合 Grouped-Query Attention 與滑動視窗注意力，顯著壓縮視訊記憶體佔用並加速解碼。引入多 Token 預測頭（Multi-Token Prediction），作為輔助預訓練目標提升效能，並充當投機解碼的內建 Draft 模型，進一步降低延遲。
- 三階段課程預訓練：在約 10.6 萬億 Token 上進行訓練，資料配比從通用網頁資料逐步過渡到精選程式碼與數學內容，形成漸進式課程。使用 Muon 最佳化器配合 FP8 混合精度，採用 Warmup-Hold-Decay（線性衰減至零）學習率排程，在訓練效率與模型穩定性之間取得平衡。
- 長上下文擴充套件：預訓練基礎模型透過 Layer-Selective YaRN 將上下文視窗擴充套件至 128K，僅對關鍵層進行位置編碼插值，避免全層微調帶來的效能損失。
Mellum2的核心優勢
- MoE 高效架構：12B 總引數僅啟用 2.5B，顯著降低推理成本，實現高吞吐、低延遲。
- 垂直領域專精：放棄多模態，專注程式碼與自然語言，在軟體工程場景下更精準、更輕量。
- 生產級效能：在 LiveCodeBench v6 程式碼評測中 Thinking 模式得分 69.9，領先同級別開源模型。
- 完全開源可商用：採用 Apache 2.0 協議，可自由實驗、微調及大規模商用部署。
- 企業隱私友好：支援完全本地化執行，滿足程式碼安全與資料合規要求。
Mellum2的同類競品對比
我們將 Mellum2 與另外兩個知名的程式碼/通用模型 Qwen3.5-9B 和 SeedCoder-8B 進行對比，差異一目瞭然：
| 對比維度 | Mellum2 | Qwen3.5-9B | SeedCoder-8B |
|---|---|---|---|
| 模型架構 | 12B MoE（64 專家，8 啟用，2.5B 活躍引數） | 9B 密集模型（Dense） | 8B 密集模型（Dense） |
| 開源協議 | Apache 2.0（完全可商用） | 開源（可商用） | 未明確/部分受限 |
| 模態支援 | 僅文字 + 程式碼（垂直專精） | 文字、程式碼、影象、影片（多模態通用） | 僅程式碼（單領域） |
| 每 Token 計算量 | ≈2.5B 引數（極低） | 9B 引數（全量啟用） | 8B 引數（全量啟用） |
| LiveCodeBench v6 | 69.9（Thinking） | 68.3（Thinking） | 28.1（Non-thinking） |
| BFCL V4 工具呼叫 | 45.6（Thinking） | 42.7（Thinking） | N/A（不支援） |
| AIME 數學推理 | 58.4（Thinking） | 73.4（Thinking） | 0（不支援） |
| 上下文長度 | 128K（YaRN 擴充套件） | 128K+ | 通常 4K-8K |
| 推理模式 | 雙模式：Thinking + Non-thinking | 雙模式：Thinking + Non-thinking | 僅 Non-thinking |
從對比可見，Mellum2 在程式碼生成效率、工具呼叫能力和開源商用方面具備顯著優勢，尤其適合對延遲和成本敏感的軟體工程自動化場景。
Mellum2的應用場景
- 智慧程式碼補全與生成：在 IDE 中提供實時程式碼補全、函式生成、程式碼重構與編輯建議，替代傳統自動補全工具。
- 除錯與錯誤診斷：輔助開發者定位 Bug、分析堆疊資訊、生成修復方案，降低除錯時間成本。
- 多步推理與複雜任務分解：在 Agent 工作流中承擔中間推理節點，將複雜需求拆解為可執行的子任務序列。
- 工具呼叫與函式編排：透過 Function Calling 連線外部 API、資料庫或開發工具，實現自動化構建、測試與部署流程。
- 對話式程式設計助手：用自然語言互動方式解答技術問題、解釋程式碼邏輯、推薦最佳實踐，充當 24/7 技術顧問。
Mellum2總結
Mellum2 憑藉高效的 MoE 架構、垂直領域的深度最佳化以及完全開源的商用協議，為軟體工程領域提供了一款兼具高效能與低成本的 AI 模型。無論是構建企業級程式碼助手，還是打造自動化 Agent 工作流，Mellum2 都是值得信賴的基礎模型選擇。其雙模式推理與 128K 長上下文支援，讓開發者能夠靈活應對從簡單補全到複雜任務分解的各種場景，顯著提升軟體開發的效率與質量。
