Microsoft TRELLIS.2:一張圖片,三秒鐘,完整 PBR 材質的 3D 模型
Microsoft Research 與清華大學聯合發布 TRELLIS.2,一個 4B 參數的開源圖片轉 3D 模型,在 NVIDIA H100 上最低解析度只需約 3 秒,輸出包含完整 PBR 材質貼圖,MIT 授權免費使用。
目錄+
如果你還在用 NeRF 或 SDF 做 3D 重建,TRELLIS.2 的出現可能會讓你重新評估整個工作流程。
Microsoft Research 與清華大學聯合推出的 TRELLIS.2 是一個 4B 參數的圖片轉 3D 生成模型,MIT 授權開源,在 NVIDIA H100 上的實測速度:512³ 解析度約 3 秒(2 秒 shape + 1 秒 material),1024³ 約 17 秒,1536³ 約 60 秒。輸出格式支援 GLB、PLY、OBJ,並帶有完整的 PBR 材質(base color、roughness、metallic、opacity)。
O-Voxel:為什麼這次不一樣
傳統的 image-to-3D 方法大多依賴隱式場(SDF、NeRF)或 iso-surface 表示,這些方法在處理開放表面(衣物、葉片)、非流形幾何(複雜形狀)、內部中空結構時容易出問題。
TRELLIS.2 引入了 O-Voxel(Omni-Voxel)表示,是一種「field-free」的稀疏體素結構,不依賴隱式場,直接處理任意拓撲的 3D 幾何。核心是 Sparse 3D VAE,做 16 倍空間下採樣,把 3D 資產壓進緊湊的 latent space。
官方 GitHub(microsoft/TRELLIS.2)提供了完整的訓練程式碼,讓研究者可以從頭訓練或在自訂資料集上 fine-tune。arXiv 論文編號為 2512.14692,這個方向的前身 TRELLIS(非 .2 版本)是 CVPR 2025 Spotlight 論文。
跑起來需要什麼
- Linux 系統,NVIDIA GPU 至少 24GB VRAM(A100、H100 實測)
- Python 環境依賴 nvdiffrast、nvdiffrec、CuMesh、FlexGEMM
- 模型在 HuggingFace 上以
microsoft/TRELLIS.2-4B發布 - MIT 授權,但 nvdiffrast 和 nvdiffrec 有各自的授權條款需確認
如果沒有高端 GPU,官方提供了 HuggingFace Spaces 的 demo,也有第三方網頁版(如 trellis2.app、3daistudio.com)可以免費試用,不需要本地環境。
在同類工具中的位置
社群對各 image-to-3D 工具的共識,目前大約是:
- TRELLIS / TRELLIS.2:視覺保真度最高,適合遊戲、電商 3D 展示
- Tripo、Rodin:shape accuracy 評分略高,多視角重建支援更好
- Meshy:3D 列印輸出品質最佳,商業工具生態完整
- Hunyuan3D-2(Tencent):支援 text-to-3D,拓撲品質較好(boundary vertices 更少)
TRELLIS.2 的明顯限制:只接受圖片輸入(無 text-to-3D)、無多視角重建、需要高端 GPU 自行架設或透過第三方平台。
但有幾件事值得注意
tweet 說「3 秒鐘」,這個數字對應的是 512³ 解析度在 H100 上的速度。如果你用的是 A100 或更低,時間會拉長;如果需要更高解析度的輸出,60 秒更接近實際。
更根本的問題是:24GB VRAM 的門檻把大部分個人開發者排除在外。在這個條件下,「免費開源」的前提是你能負擔得起相應的硬體或雲端算力。
另外,雖然 MIT 授權,但 nvdiffrast 和 nvdiffrec 的使用條款需要個別確認,商業使用前務必審閱。
CVPR 2025 的前代 TRELLIS 已經建立了不錯的基礎,TRELLIS.2 在此之上做了架構改進。開源且有完整訓練程式碼,意味著接下來的社群 fine-tune 版本(低 VRAM、量化、更快推理)很可能在幾個月內出現。