NVIDIA Omniverse 接上 MCP：LLM Agent 現在可以直接操控 3D 場景

來源：NVIDIA Omniverse (@nvidiaomniverse)，April 17, 2026

Omniverse 是什麼？先把基礎說清楚

大多數開發者對 NVIDIA 的印象停在 GPU 和 CUDA。但 NVIDIA Omniverse 是另一條完全不同的產品線——一個用於 3D 模擬、數位孿生（digital twin）和 Physical AI 的開放平台。

Physical AI 的定義是：在物理世界中行動的智慧系統，包括工廠機械手臂、自動駕駛車輛、倉儲物流機器人、工業感測網路。這類系統的訓練和測試需要高度精確的模擬環境——因為你不能把真實的機器人放進訓練迴圈裡反覆出錯。Omniverse 就是這個模擬環境的基礎建設。

它的技術核心是 OpenUSD（Universal Scene Description），一個由 Pixar 發明、NVIDIA 和 Apple 大力推動的 3D 場景描述格式。一個 OpenUSD 場景可以包含物理屬性、光照、幾何形狀、材質、感測器資料——幾乎所有你需要模擬真實世界的元素。

這不是路邊消息：NVIDIA 官方已經在文件裡公開推

先給個背景：這不是 NVIDIA 某場演講的偶發 demo，而是 NVIDIA Developer blog 正式文章〈Integrate Physical AI Capabilities into Existing Apps with NVIDIA Omniverse Libraries〉裡記錄的架構。更關鍵的一段話：

Omniverse libraries support agentic orchestration via Model Context Protocol (MCP) servers, facilitating LLM-based agent workflows, and are being piloted by industry leaders including ABB Robotics, PTC, Siemens, and Synopsys.

四家企業試點（ABB、PTC、Siemens、Synopsys）不是小客戶——都是工業自動化、PLM、EDA 的重量級玩家。這告訴我們：NVIDIA 不是在賭 MCP 這個協議，他們已經把合作夥伴拉下水一起賭了。

三個具體的 MCP server：USD Code / Kit / OmniUI

這是文章裡最實用的部分。NVIDIA 不是只開了一個「Omniverse MCP server」，而是拆成三個獨立的 MCP server，各自負責不同操作範圍：

• USD Code MCP：負責 OpenUSD 場景的程式操作——載入場景、編輯 prim（USD 的基本物件單位）、推進模擬步驟
• Kit MCP：針對 NVIDIA Kit SDK 的 API 瀏覽、場景程式碼生成
• OmniUI MCP：操作 Omniverse UI 層級與介面元件

這三個 server 都支援 Docker 或 Python 本地部署，並且官方文件明確列出快速啟動流程：

export NVIDIA_API_KEY=your_api_key_here
cd source/mcp
./build-wheels.sh all
docker compose -f docker-compose.ngc.yaml up --build

這些 server 在設計上使用機器可讀的 schema 描述每個操作——讓 Claude、Cursor 這類 AI 工具能夠安全地呼叫這些 API，而不會無意中把工廠數位孿生搞炸。

核心函式庫架構

把三個 MCP server 往下挖，你會看到 Omniverse 的三個底層函式庫。下面是這次演示展示的核心元件：

ovrtx（渲染引擎） 負責 3D 場景的即時渲染，支援光追（ray tracing）和物理基礎渲染（PBR）。在 Python microservice 裡直接呼叫，代表渲染能力可以作為後端服務暴露——不是只有桌面應用才能用。

ovphysx（物理模擬） 處理剛體動力學、碰撞偵測、摩擦、重力等物理計算。這是機器人模擬的核心——手臂夾住物件的力道、關節的扭矩、物件掉落的軌跡，都由 ovphysx 計算。

ovstorage（儲存層） 把 PLM（Product Lifecycle Management，產品生命週期管理）系統和雲端儲存接線到 OpenUSD 場景管理。這意味著工廠的 CAD 設計、物料清單、版本歷史，都可以直接映射到 3D 模擬環境。

三個元件全部運行在一個 Python microservice 內，用 OpenUSD 作為場景的統一資料格式。這個架構設計的重點是：Omniverse 不再是一個封閉的桌面軟體，而是可以被程式化呼叫的後端服務。

MCP 這一層的意義

MCP（Model Context Protocol） 是 Anthropic 提出的開放協議，用來讓 LLM agent 和外部工具、資料源之間有標準化的溝通方式。在 MCP 架構裡，工具提供者實作一個 MCP server，LLM agent 透過這個 server 呼叫工具、取得資料。

把 Omniverse 做成 MCP-accessible 意味著什麼？

語言模型現在可以：

• 查詢 3D 場景的當前狀態（物件位置、物理屬性、感測器讀數）
• 修改 場景參數（移動物件、改變材質、調整重力）
• 觸發 模擬步驟（執行一段物理計算、取得碰撞結果）
• 讀取 渲染輸出（截取場景畫面、分析視覺結果）

過去，要讓 LLM 和 3D 模擬互動，需要客製化的 API 橋接、專屬的格式轉換、大量的膠水程式碼。MCP 把這件事標準化了：任何支援 MCP 的 LLM agent（Claude、GPT-4o、Gemini 等）都可以透過相同的協議與 Omniverse 場景溝通。

這不是「炫技」，是架構上的重大簡化。

Physical AI 的真正挑戰：為什麼 MCP 打開了一道門

現在來談工程現實。

工廠數位孿生（Factory Digital Twin）

一座現代汽車工廠有幾百個機器手臂、幾千個感測器、幾十條生產線。工廠在蓋之前，工程師需要在模擬環境裡把整個工廠跑一遍——驗證動線設計、偵測碰撞風險、估算生產效率。這個模擬環境就是數位孿生。

問題是：當你想對數位孿生問「第 7 號工位在高峰生產時的碰撞風險有多高？」，以前需要專業的模擬工程師寫查詢腳本、跑模擬、解讀輸出。現在，有了 MCP 接口，你可以直接讓 LLM agent 接管這個過程——讀取場景狀態、設計實驗參數、執行模擬、彙整結果。

機器人訓練環境（Robot Training Environment）

強化學習訓練機器人需要大量的試錯迴圈。傳統做法是工程師寫死訓練腳本，機器人在固定的模擬環境裡跑幾百萬次。

MCP 接口讓 LLM agent 可以動態調整訓練環境——改變物件形狀、調整光照條件、引入隨機干擾——而不需要人工重新編寫場景設定。這加速的不只是訓練速度，而是訓練策略的迭代速度。

自駕模擬（Autonomous Vehicle Simulation）

自駕車的長尾場景問題一直是行業痛點：你需要模擬「雨天、夜間、施工路段、突然出現的行人」這種複合罕見場景，而且需要大量。有了 LLM agent 控制模擬場景的能力，生成多樣化訓練場景從手工任務變成了可規模化的流程。

OpenUSD：AI 與 3D 管線的連接組織

OpenUSD 在這個架構裡的角色值得單獨說清楚。它不只是個檔案格式，而是整個 3D 資料管線的共同語言。

OpenUSD 的關鍵特性：

• 可組合（Composable）：不同來源的場景資料可以疊加、覆蓋、引用，而不需要合併成單一大檔
• 版本化（Versioned）：場景的每一個狀態都可以追蹤，適合工程設計的版本管理需求
• 跨平台（Cross-platform）：Apple Vision Pro、NVIDIA Omniverse、Autodesk、Adobe 都支援 OpenUSD，這意味著資料不被單一廠商鎖住

對 AI + 3D 管線來說，OpenUSD 的可組合性特別重要：LLM agent 可以操作場景的特定層（layer），而不需要理解整個場景的所有細節。這和 LLM 操作程式碼的方式高度類似——你不需要讀懂整個 codebase，只需要修改對的那個函式。

這件事的重要性在哪？

我的立場是：這是 Physical AI 從「工程師專屬工具」走向「可程式化基礎建設」的關鍵一步。

過去，Omniverse 的主要用戶是有專業訓練的模擬工程師。MCP 接口把 Omniverse 的能力暴露給任何能寫 LLM prompt 的開發者——這個受眾群體大幾個數量級。

更重要的是，它改變了「誰可以問 3D 場景問題」這件事。以前是少數懂 USD API 的人；現在理論上是任何人，透過任何支援 MCP 的 LLM agent。

這個模式已經在其他領域驗證過了——資料庫有自然語言查詢、程式碼有 Copilot——3D 模擬是下一個被語言介面重新定義的領域。NVIDIA 先把 MCP server 架好，就是在搶這個入口。

現在可以做什麼

如果你對這個方向感興趣，實際的切入點：

1. MCP server 直接試跑：從 USD Code MCP、Kit MCP、OmniUI MCP 三個中挑一個最接近你需求的，用 Docker 或 Python 啟動（需要 NVIDIA API key）
2. Omniverse Python SDK：ovrtx、ovphysx、ovstorage 都可以在 Python 環境裡呼叫，適合已有 Python microservice 架構的團隊
3. OpenUSD 格式學習：Pixar 的 OpenUSD 文件和 NVIDIA 的 USD Composer 是入門點，理解場景組合和 layer 系統是前提
4. 看 ABB、Siemens、PTC、Synopsys 做什麼：這四家企業試點的公開案例會是最快的實務參考，尤其對工廠模擬和 EDA 整合場景

這支影片的完整 walkthrough 是目前最具體的技術參考，建議真的在做 Physical AI 整合的工程師認真看一遍。