Magenta RealTime 2：谷歌Magenta開源的實時音樂生成模型，以200毫秒延遲實現即興合奏

Magenta RealTime 2（MRT2）是谷歌 Magenta 團隊推出的第二代開源本地實時音樂生成模型。基於逐幀生成架構，每幀僅 40 毫秒，實現約 200 毫秒的實際控制延遲，讓 AI 對輸入變化的反應速度接近真實樂器演奏體驗。模型提供高質量與大速度兩種規格，均針對 Apple Silicon 深度最佳化，並配套釋出免費應用與 DAW 外掛，大幅降低音樂創作者與開發者的使用門檻。

Magenta RealTime 2是什麼：本地實時互動式音樂生成模型

Magenta RealTime 2（MRT2）是谷歌 Magenta 團隊推出的第二代開源本地實時音樂生成模型。MRT2 基於逐幀生成架構，每幀 40 毫秒，實現約 200 毫秒的實際控制延遲，讓 AI 對輸入變化的反應速度接近真實樂器演奏體驗。模型提供 mrt2_base（2.4B 引數，高質量）和 mrt2_small（230M 引數，高速）兩個版本，均針對 Apple Silicon 最佳化，其中小模型可在 M1 及後續晶片上實時執行。

Magenta RealTime 2的主要功能

• 低延遲實時生成：逐幀生成音訊，每幀 40 毫秒，實際控制延遲約 200 毫秒，較前代 3 秒延遲降低至約十五分之一，實現真正的實時互動。
• 多模態控制輸入：支援文字描述、音訊風格提示、MIDI 音符輸入與鼓組開關控制，使用者可透過多種方式實時引導音樂風格與走向。
• 持續音符跟隨：模型可持續跟隨音符輸入變化，實時調整生成內容，適應使用者演奏的動態變化。
• Auto-Strum 智慧撥絃：在 Auto-Strum 模式下，AI 自動決定撥絃或起音時機；關閉後使用者可精確指定音符起始時刻，兼顧自動化與精細化控制。
• 鼓組軌道切換：支援切換有鼓或無鼓輸出，適合多軌編曲場景，靈活適應不同樂器編制需求。
• 雙規模模型選擇：提供 mrt2_base（2.4B 引數，音質優先）和 mrt2_small（230M 引數，速度優先）兩種規格，適配不同硬體效能。
• Apple Silicon 原生最佳化：針對 M 系列晶片深度最佳化，mrt2_small 可在 M1 及後續機型實時執行，mrt2_base 支援 M2 Max 及以上機型。

Magenta RealTime 2的技術原理

• Codec Language Model 架構：MRT2 屬於編解碼器語言模型正規化，核心思想是將連續音訊訊號離散化為可預測的標記序列，透過自迴歸方式逐幀生成。模型基於 SpectroStream 音訊編解碼器將 48kHz 立體聲音訊壓縮為緊湊的潛在表示，以 25Hz 幀率輸出音訊標記，大幅降低序列長度與計算複雜度。
• 逐幀自迴歸生成機制：與上一代採用 2 秒音訊塊批處理、延遲約 3 秒的設計不同，MRT2 改為逐幀生成架構。每幀僅 40 毫秒，模型在接收到當前輸入條件後立即預測下一幀的音訊標記分佈並解碼輸出，將實際控制延遲壓縮至約 200 毫秒，接近人類對樂器響應的感知閾值。
• SpectroStream 音訊編解碼器：作為 MRT2 的音訊前端與後端，負責將原始 48kHz 立體聲波形編碼為模型可處理的離散標記，並在生成後解碼回可聽音訊。編解碼器針對音樂訊號的高頻結構與立體聲相位資訊進行了最佳化，在高度壓縮的潛在空間中仍保留音色、空間感與和聲細節。

如何使用Magenta RealTime 2

• 透過 Jam 應用體驗：下載免費 Jam 應用，輸入音樂風格描述，模型即開始生成；透過下方鍵盤調整音高，支援滑鼠、MacBook 鍵盤或 MIDI 鍵盤輸入。
• 在 DAW 中呼叫：安裝 MRT2 外掛，在常用數字音訊工作站中直接呼叫模型，將 AI 生成融入現有編曲工作流。
• Python 庫開發：開發者可透過 pip 安裝 Python 庫，透過 API 將 MRT2 整合到自定義音樂應用或互動裝置中。
• 本地端側部署：利用 C++/MLX 推理引擎，在 Apple Silicon Mac 上實現完全離線的本地推理，無需雲端依賴。

Magenta RealTime 2的核心優勢

• 極致低延遲：200 毫秒延遲讓 AI 響應速度接近人類樂器演奏感知閾值，實現真正意義上的即興合奏。
• 完全本地執行：基於 Apple Silicon 與 MLX 框架最佳化，所有推理在本地完成，無需網路連線，保障隱私與低延遲穩定性。
• 開源開放生態：模型權重開源，提供 Python 庫、獨立應用與 DAW 外掛三種接入方式，覆蓋從普通使用者到專業開發者的全鏈路需求。
• 多維度實時控制：同時支援文字、音訊、MIDI 與鼓組開關控制，在實時生成領域提供了當前最豐富的互動控制維度。

Magenta RealTime 2的同類競品對比

我們將 Magenta RealTime 2 與 Suno v5.5 進行對比，其在實時互動和本地部署方面的優勢一目瞭然：

Magenta RealTime 2 專注於實時互動與本地生成，與 Suno v5.5 的完整歌曲生成形成互補，兩者分別服務於即興演奏和成品製作兩類截然不同的創作場景。

Magenta RealTime 2的應用場景

• 現場即興演奏：音樂人透過 MIDI 鍵盤與 MRT2 實時合奏，AI 根據演奏音符與風格提示即時生成伴奏或呼應樂句，用於爵士、電子等即興性強的音樂場景。
• 實時編曲輔助：在 DAW 中載入 MRT2 外掛，創作者調整和絃進行或風格描述時，AI 即時反饋編曲效果，加速創作迭代。
• 互動式音樂裝置：開發者利用開源 Python 庫與低延遲特性，構建博物館、展覽或舞臺中的互動聲音裝置，讓觀眾動作實時轉化為音樂。
• 音樂教育與練習：學生透過 Jam 應用輸入風格描述，AI 實時生成伴奏進行獨奏練習，或模擬不同樂隊編制下的合奏體驗。

Magenta RealTime 2總結

Magenta RealTime 2 作為谷歌 Magenta 團隊推出的第二代實時音樂生成模型，透過逐幀自迴歸架構將 AI 響應延遲壓縮至約 200 毫秒，首次在消費級硬體上實現了接近真實樂器演奏體驗的實時互動。其開源開放的多平臺生態、多模態控制輸入和本地端側推理能力，為音樂創作者、開發者和教育者提供了前所未有的實時 AI 合奏體驗，是實時音樂生成領域的重要里程碑。