跳到主要內容
akiraxtwo super

Microsoft TRELLIS.2:一張圖片,三秒鐘,完整 PBR 材質的 3D 模型

Microsoft Research 與清華大學聯合發布 TRELLIS.2,一個 4B 參數的開源圖片轉 3D 模型,在 NVIDIA H100 上最低解析度只需約 3 秒,輸出包含完整 PBR 材質貼圖,MIT 授權免費使用。

/閱讀約 4 分鐘/
Microsoft TRELLIS.2:一張圖片,三秒鐘,完整 PBR 材質的 3D 模型
目錄+

如果你還在用 NeRF 或 SDF 做 3D 重建,TRELLIS.2 的出現可能會讓你重新評估整個工作流程。

Microsoft Research 與清華大學聯合推出的 TRELLIS.2 是一個 4B 參數的圖片轉 3D 生成模型,MIT 授權開源,在 NVIDIA H100 上的實測速度:512³ 解析度約 3 秒(2 秒 shape + 1 秒 material),1024³ 約 17 秒,1536³ 約 60 秒。輸出格式支援 GLB、PLY、OBJ,並帶有完整的 PBR 材質(base color、roughness、metallic、opacity)。

O-Voxel:為什麼這次不一樣

傳統的 image-to-3D 方法大多依賴隱式場(SDF、NeRF)或 iso-surface 表示,這些方法在處理開放表面(衣物、葉片)、非流形幾何(複雜形狀)、內部中空結構時容易出問題。

TRELLIS.2 引入了 O-Voxel(Omni-Voxel)表示,是一種「field-free」的稀疏體素結構,不依賴隱式場,直接處理任意拓撲的 3D 幾何。核心是 Sparse 3D VAE,做 16 倍空間下採樣,把 3D 資產壓進緊湊的 latent space。

官方 GitHub(microsoft/TRELLIS.2)提供了完整的訓練程式碼,讓研究者可以從頭訓練或在自訂資料集上 fine-tune。arXiv 論文編號為 2512.14692,這個方向的前身 TRELLIS(非 .2 版本)是 CVPR 2025 Spotlight 論文。

跑起來需要什麼

  • Linux 系統,NVIDIA GPU 至少 24GB VRAM(A100、H100 實測)
  • Python 環境依賴 nvdiffrast、nvdiffrec、CuMesh、FlexGEMM
  • 模型在 HuggingFace 上以 microsoft/TRELLIS.2-4B 發布
  • MIT 授權,但 nvdiffrast 和 nvdiffrec 有各自的授權條款需確認

如果沒有高端 GPU,官方提供了 HuggingFace Spaces 的 demo,也有第三方網頁版(如 trellis2.app、3daistudio.com)可以免費試用,不需要本地環境。

在同類工具中的位置

社群對各 image-to-3D 工具的共識,目前大約是:

  • TRELLIS / TRELLIS.2:視覺保真度最高,適合遊戲、電商 3D 展示
  • Tripo、Rodin:shape accuracy 評分略高,多視角重建支援更好
  • Meshy:3D 列印輸出品質最佳,商業工具生態完整
  • Hunyuan3D-2(Tencent):支援 text-to-3D,拓撲品質較好(boundary vertices 更少)

TRELLIS.2 的明顯限制:只接受圖片輸入(無 text-to-3D)、無多視角重建、需要高端 GPU 自行架設或透過第三方平台。

但有幾件事值得注意

tweet 說「3 秒鐘」,這個數字對應的是 512³ 解析度在 H100 上的速度。如果你用的是 A100 或更低,時間會拉長;如果需要更高解析度的輸出,60 秒更接近實際。

更根本的問題是:24GB VRAM 的門檻把大部分個人開發者排除在外。在這個條件下,「免費開源」的前提是你能負擔得起相應的硬體或雲端算力。

另外,雖然 MIT 授權,但 nvdiffrast 和 nvdiffrec 的使用條款需要個別確認,商業使用前務必審閱。

CVPR 2025 的前代 TRELLIS 已經建立了不錯的基礎,TRELLIS.2 在此之上做了架構改進。開源且有完整訓練程式碼,意味著接下來的社群 fine-tune 版本(低 VRAM、量化、更快推理)很可能在幾個月內出現。