Zing-0.5:開源實時互動影片世界模型,鍵盤操控+文字改寫,單卡24FPS
更新時間:2026-10-16 01:32:14 釋出時間:47天前 閱讀:50 views次Zing-0.5 是 Loopit 在 2026 年開源的實時互動影片世界模型,基於 Wan2.2-TI2V-5B 訓練,5B 引數,採用 Apache 2.0 協議。它最大的特點是“聯合控制”:你可以一邊用鍵盤操控角色移動,一邊隨時用文字改寫正在發生的世界,比如輸入“暴風雪”,場景立即變化,而角色和畫風保持不變。本文從功能、原理、部署、競品對比等角度全面解析 Zing-0.5,幫你快速判斷它是否適合你的專案。
一句話結論:Zing-0.5 是當前 WBench 實時世界模型榜排名第一的開源模型,支援鍵盤空間操作與自然語言語義改寫雙鏈路聯合控制,單卡 RTX 5090 即可超 24 FPS 實時生成,一分鐘推理成本約 6 分錢,適合 AI 互動遊戲、可玩影片和虛擬直播等場景。
關鍵資料:引數:5B · 基座:Wan2.2-TI2V-5B · 協議:Apache 2.0 · WBench實時榜第一 · 成本:約 6 分錢/分鐘 · 幀率:>24 FPS
Zing-0.5 是什麼
Zing-0.5 是 Loopit(SeedLeap)開源的實時互動影片世界模型,5B 引數,基座為 Wan2.2-TI2V-5B,採用 Apache 2.0 協議。它的核心能力是“聯合控制”:鍵盤空間操作(W/A/S/D 移動 + I/J/K/L 視角)與自然語言語義改寫兩條鏈路共同進入 Causal DiT,使用者可一邊操控角色移動,一邊隨時用文字改寫正在發生的世界,新指令會進入當前世界而非重置場景。模型透過訓練中途切換 Prompt 學會“邊玩邊改”,主動擾動歷史畫面以抗誤差累積。單卡 RTX 5090 可超 24 FPS 實時生成,一分鐘流式推理成本約 6 分錢,在美團 LongCat 與復旦聯合的 WBench 評測中位列實時世界模型第一。
Zing-0.5 的主要功能
- 聯合控制:鍵盤空間操作(W/A/S/D 移動 + I/J/K/L 視角)與自然語言語義改寫共同作用,一邊操控移動一邊用文字改變世界,新指令進入當前世界而非替換場景。
- 實時流式生成:單卡 RTX 5090 超過 24 FPS,一分鐘推理成本約 6 分錢,支援無限長時序連續生成。
- 中途語義改寫:可在生成進行中隨時插入文字指令(如“暴風雪”“龍噴火”),模型保留視覺與操作歷史,讓改寫發生在當前世界中。
- 多物件同時響應:一條指令可同時驅動多個不同物件變化(如人物跪地祈禱 + 多座雕像睜眼發光)。
- 長程一致性:角色外觀、場景結構、畫風(如畫素風格)在持續生成中保持穩定,不漂移、不換畫風。
- 抗誤差累積:訓練中主動擾動歷史畫面,模型學會“接住自己的錯誤”,長時間生成不越走越偏。
- 動作控制:8 維連續動作訊號(取值 [0,1]),支援前進/後退/左右移動與四向視角變化,編碼為逐幀 action residual。
- 本地部署:5B 引數單卡可跑,Linux + PyTorch 環境,80GB+ 視訊記憶體或滑窗注意力配置(RTX 4090 級別亦可),輸出 H.264 MP4。
- 開源免費:Apache 2.0 協議,程式碼與權重在 GitHub、ModelScope、HuggingFace 開放,基於 Wan2.2-TI2V-5B 訓練。
Zing-0.5 的技術原理
- 基座模型:基於 Wan2.2-TI2V-5B 訓練,5B 引數量級,核心生成網路為 Causal DiT(因果擴散 Transformer),配合因果 KV 快取支援無限長時序自迴歸推演。
- 雙控制鏈路架構:兩條獨立但共同進入 Causal DiT 的控制通道——空間操作走“動作鏈”,語義改寫走“文字鏈”,二者共同決定接下來生成的內容。
- 動作鏈(action residual):W/A/S/D 移動 + I/J/K/L 視角構成 8 維連續動作訊號(取值 [0,1]),經 sin/cos 編碼與因果時序卷積(不足 10M 引數)轉化為逐幀 action residual,與對應影片 token 逐幀對齊後注入生成。
- 文字鏈(cross-attention):自然語言指令經語言模型編碼為 language tokens,透過 cross-attention 寫入當前生成,實現中途語義改寫。
- 兩鏈解耦、持續並行:文字條件改變時動作鏈路不中斷,因此能實現“巨龍一邊按原方向飛行一邊噴火”這類邊操作邊改寫的效果。
- 訓練即學會“中途改寫”:訓練時在自迴歸生成中途切換 Prompt,保留已生成的視覺歷史與操作歷史,用新文字條件預測後續,改寫能力是訓練出來的原生能力,而非推理時拼接的後加功能。
- 抗誤差累積訓練:自迴歸生成的“歷史”是模型自己的輸出,誤差會累積;Zing-0.5 在訓練中主動擾動部分歷史畫面(加噪聲、輕微模糊、顏色偏移、視角變化)模擬真實誤差,訓練目標始終保持乾淨,迫使模型學會從不完美歷史中甄別真實狀態。
- 純訓練解法,推理零開銷:抗累積能力完全內化於權重,線上推理無需額外糾錯模型,不增加延遲與算力。
- 四步 DMD 蒸餾取樣:將擴散取樣壓縮至 4 步,是單卡實時(>24 FPS)與低成本(約 6 分錢/分鐘)的關鍵。
- 滑窗注意力適配視訊記憶體:80GB+ 視訊記憶體用
--local-attn-size 97 --sink-size 9;RTX 4090 級別用--local-attn-size 33 --sink-size 5,透過區域性注意力 + sink token 在有限視訊記憶體內維持長上下文。 - 輸出管線:影片幀經 patch embedding 成 token 進入 Causal DiT,預測幀解碼後輸出 H.264 編碼的 24 FPS MP4。
Zing-0.5 如何使用
快速體驗:如果你不想本地部署,可以等待 Loopit APP 海外版上線,官方預計兩週內推出對應功能,直接在 App 中體驗實時互動世界。
本地部署:適合開發者,最低要求 Linux 系統 + NVIDIA GPU(RTX 4090 級別即可,使用滑窗注意力配置),80GB+ 視訊記憶體效果最佳。
- 環境準備:安裝 Python 3.11、PyTorch 2.9、CUDA。
- 獲取程式碼:
git clone https://github.com/seedleap/zing-world-model.git,進入目錄cd zing-world-model。 - 安裝依賴:
pip install -r requirements.txt。 - 下載權重:
pip install modelscope,然後執行modelscope download --model seedleap/Zing-0.5 --local_dir ./Zing-0.5。 - 執行推理:執行
run.sh,指定--pretrained-dir、--checkpoint、--messages等引數。文字驅動用examples/case3_action_t2v.jsonl,圖片初始化用examples/case4_action_ti2v.jsonl。 - 互動操作:鍵盤 W/A/S/D 控制移動,I/J/K/L 控制視角;生成過程中直接輸入文字指令即可改寫世界。
- 檢視輸出:生成的 H.264 MP4 檔案儲存在
--output-dir指定的目錄中。
Zing-0.5 與競品對比
一句話結論:如果你需要實時互動和文字改寫,Zing-0.5 是當前最佳選擇;若更看重畫面質量,HiDream-O1-World 略勝一籌。
| 對比項 | Zing-0.5 | HiDream-O1-World | LingBot-World v2 |
|---|---|---|---|
| WBench 總排名 | 第 2(實時榜第 1) | 第 3 | 第 5 |
| 綜合平均分 | 81.0 | 80.9 | 79.4 |
| 畫面質量 | 80.6 | 81.0(最高) | 81.8(最高) |
| 場景設定 | 77.8 | 82.2 | 76.8 |
| 互動能力 | 84.2(最高) | 80.0 | 82.8 |
| 一致性 | 88.5(最高) | 88.0 | 86.5 |
| 物理規律 | 73.8(最高) | 73.3 | 69.1 |
| 實時性 | 實時(單卡 5090 超 24 FPS) | 未標註 | 快速 |
| 互動型別 | 動作 + 文字聯合控制(可中途改寫世界) | 動作控制 | 動作控制 |
| 引數規模 | 5B | 未公開 | 未公開 |
| 開源情況 | Apache 2.0,程式碼+權重 | 未標註 | 開源 |
| 推理成本 | 約 6 分錢/分鐘 | 未公開 | 未公開 |
Zing-0.5 的應用場景
- AI 互動娛樂 / AI 遊戲:玩家用鍵盤操控角色在生成世界中探索,隨時用語言改寫劇情與環境(如下雪、召喚怪物),實現“人人可玩的生成式遊戲”。
- “可以玩的抖音”式內容消費:短影片從“看”變成“玩”,每個使用者在同一段內容裡玩出不同走向,改寫內容平臺形態。
- UGC 互動內容創作:創作者生成可互動影片世界供粉絲體驗,觀眾不再是旁觀者而是參與者,衍生全新內容品類。
- 遊戲原型快速驗證:遊戲團隊無需搭建引擎場景,用世界模型快速生成可互動 Demo,低成本驗證玩法與關卡創意。
- 虛擬直播 / 虛擬主播:主播實時驅動虛擬世界,觀眾透過彈幕文字參與改寫場景與事件,增強直播互動性。
Zing-0.5 的優點與缺點
優點
- 實時榜第一的硬實力,WBench 綜合平均分 81.0。
- “邊玩邊改”獨一檔,多數實時世界模型只支援探索場景,Zing-0.5 是少數能邊操控移動邊用文字中途改寫世界的模型。
- 改寫不換世界,新指令精準寫入當前世界,只改該改的,不該動的紋絲不動。
- 長時序不跑偏,訓練中主動擾動歷史畫面讓模型學會糾錯,且純訓練解法推理零開銷。
- 成本與門檻雙低,5B 引數單卡部署,單張 RTX 5090 超 24 FPS,一分鐘流式推理僅約 6 分錢。
- 真開源,Apache 2.0 協議,程式碼 + 權重 + 部署文件全套開放,商用無門檻。
缺點
- 本地部署有一定技術門檻,需要 Linux 環境和 PyTorch 經驗。
- 80GB 以下視訊記憶體需使用滑窗注意力,可能犧牲部分長程一致性。
- 目前僅提供命令列互動,暫無圖形介面(官方 APP 尚未上線)。
- 生成內容為 H.264 MP4,實時互動體驗依賴本地算力,普通筆記本難以流暢執行。
Zing-0.5 是免費開源的嗎?
是的。Zing-0.5 採用 Apache 2.0 協議,程式碼和模型權重在 GitHub、HuggingFace、ModelScope 上完全開放,可免費商用。
Zing-0.5 需要什麼顯示卡才能執行?
最低要求 NVIDIA GPU,RTX 4090 級別即可使用滑窗注意力配置執行。推薦 80GB 以上視訊記憶體(如 H100/A100)以獲得最佳效果,單卡 RTX 5090 可超過 24 FPS 實時生成。
Zing-0.5 和 HiDream-O1-World 有什麼區別?
Zing-0.5 主打實時互動和文字中途改寫,WBench 實時榜第一;HiDream-O1-World 在畫面質量和場景設定上略佔優勢,但未標註實時能力。如果你需要邊操控邊改寫世界,選 Zing-0.5;如果更看重靜態畫面質量,可考慮 HiDream。
如何本地部署 Zing-0.5?
準備 Linux 系統 + NVIDIA GPU,安裝 Python 3.11、PyTorch 2.9、CUDA,克隆 GitHub 倉庫並安裝依賴,透過 ModelScope 下載權重,然後執行 run.sh 並指定引數即可。詳細步驟見上文“Zing-0.5 如何使用”。
Zing-0.5 生成的影片可以商用嗎?
可以。Zing-0.5 採用 Apache 2.0 開源協議,程式碼和權重均允許商業使用,無需支付授權費用。
Zing-0.5 支援圖片初始化嗎?
支援。除了純文字驅動(Action T2V),還支援圖片初始化模式(Action TI2V),可上傳一張圖片作為起始幀,然後進行實時互動和文字改寫。
Zing-0.5 的推理成本是多少?
單卡 RTX 5090 上一分鐘流式推理成本約 6 分錢,這是四步 DMD 蒸餾取樣帶來的高效推理優勢,消費級顯示卡也能負擔實時互動。