Matrix-Game 3.0：Skywork 開源的互動式世界模型，720p 即時 40fps

生成式影片模型已不陌生，但「能互動操控」的影片生成仍屬早期階段——每一幀都要與先前內容保持一致，又得即時回應使用者的操作。Skywork AI 的 Matrix-Game 3.0 把這件事推進了一步：5B 蒸餾模型、720p、40fps、長時序一致。

什麼是互動式世界模型？

Loading diagram...

傳統 text-to-video 模型是「一次性生成」——給一段文字，產出幾秒的影片。互動式世界模型不同，它必須持續生成：根據使用者的即時操作（例如像打電動一樣用 WASD 移動）逐幀產出畫面，並與既有的場景保持一致。

難點主要有二：

長時序一致性：繞了一圈走回原處，場景應該維持原樣，不能每次都長得不一樣
即時性：40fps 代表每幀只有 25ms 的預算，包含推理、解碼與後處理

三個關鍵技術決策

1. Camera-aware Memory
模型顯式記住每個視角對應的空間區域。當鏡頭轉回先前到過的位置，camera-aware memory 會提供對應的空間記憶，讓場景維持一致，避免「走兩步回頭，牆變成另一種顏色」這類 drift 問題。

2. Prediction Residuals + Frame Re-injection
預測殘差機制讓模型不必從零生成每一幀，而是預測「與前幀的差異」；同時把前幀重新注入生成流程，形成自我修正迴路，降低錯誤累積。

3. 多段自回歸蒸餾
原本的大模型太慢，團隊以多段自回歸蒸餾（multi-segment autoregressive distillation）壓縮到 5B 參數，搭配模型量化與 VAE decoder 優化，達成 720p 下的 40fps。

效能與規模

Matrix-Game 3.0 生成速度（720p）

Matrix-Game 3.0 提供兩個版本：

版本	參數規模	用途	硬體需求
5B Distilled	5B	即時互動、遊戲原型	單張 H/A 系列 GPU
28B-MoE	2×14B MoE	離線高品質生成、研究	多 GPU FSDP

5B 版本為了即時性做了大量壓縮，畫質上有所取捨；28B-MoE 版本則以畫質與泛化能力為優先。兩個版本都開源。

訓練資料的三個來源

Unreal Engine 合成資料：在 UE 中建構可控環境，大量產出高精度的 ground truth（場景 + 操作 + 下一幀）
自動化 AAA 遊戲資料：大規模收集真實 AAA 遊戲的畫面與操作，讓模型學到真實世界的視覺複雜度
真實影片增強：加入真實拍攝的影片，補足合成資料的 domain gap

相較純合成資料的舊世代世界模型，這個組合更能處理光影、材質與動態細節。

技術棧

# Python 3.12
# FlashAttention（注意力加速）
# FSDP（多 GPU 訓練/推理）
# 64GB RAM 最低需求
# H 系列或 A 系列 GPU

FlashAttention 是 720p 即時推理的關鍵——高解析度下，注意力的記憶體頻寬是瓶頸，FlashAttention 能把記憶體用量從 O(N²) 降到 O(N)。

FSDP 則讓 28B-MoE 版本能分散到多張 GPU 上，使沒有超大單卡（例如 H100 80GB）的研究團隊也能執行。

和 Matrix-Game 1/2 的差異

版本	特色
Matrix-Game 1	初代互動世界模型，概念驗證
Matrix-Game 2	提升畫質與場景豐富度
Matrix-Game 3	即時 40fps + 長時序記憶 + MoE 擴展

Matrix-Game 3 是第一代把「即時互動性」做到足以「玩起來」的版本。前兩代更像是科研 demo，3.0 已經接近遊戲原型工具的門檻。

使用場景

遊戲原型開發：獨立遊戲開發者可以用 Matrix-Game 3 快速搭建互動式場景原型，先驗證遊戲手感，再用傳統引擎重製。

世界模型研究：互動式世界模型是通往 AGI 的重要子領域（DeepMind Genie、Google SIMA），開源大幅降低研究門檻。

訓練環境生成：強化學習需要大量訓練環境，傳統做法是手刻 UE/Unity，世界模型可以直接生成可互動的環境。

影片內容生成：補足傳統 text-to-video 做不到的「使用者可控」場景，例如互動式敘事影片、虛擬旅遊、教育示範。

怎麼開始？

# 建立 conda 環境
conda create -n matrix-game python=3.12
conda activate matrix-game

# 從 HuggingFace 下載權重
git clone https://github.com/SkyworkAI/Matrix-Game.git
cd Matrix-Game/Matrix-Game-3

# 安裝依賴
pip install -r requirements.txt

# 跑互動推理
python inference.py --model 5B-distilled --image scene.png --prompt "森林小徑"

輸入是一張初始圖像加上文字提示，之後可透過 action 參數（對應鍵盤操作）控制生成。整個流程有點像在跑一個 LLM 驅動的小型遊戲引擎。

結語

Matrix-Game 3 的意義不在單一技術突破，而在於把「即時互動世界模型」從研究室 demo 推到「可用工具」的門檻。2.1k stars 與 229 forks 也反映社群對這個方向的關注正在升溫。

對獨立遊戲開發者、世界模型研究者與互動內容創作者來說，這目前是值得關注的開源世界模型之一。如果通往 AGI 的路徑之一是「讓模型理解並生成可互動的物理世界」，Matrix-Game 3 正在這條路上向前推進。