NVIDIA 開源 NCore：多感測器神經 3D 重建的統一資料平台

多感測器 3D 重建的世界裡，最痛的從來不是演算法，而是資料格式。NVIDIA 在 4 月 17 日宣告開源的 NCore（NVIDIA/ncore），正是瞄準這個所有人都知道很重要、卻沒人願意先動手解決的問題——建立一套跨 AV、機器人、physical AI 的多感測器資料規範。

這是個早期階段的專案（目前 33 stars、2 forks、Apache-2.0 授權、最新版本 v18.9.0 於 2026-04-14 發佈），由 NVIDIA SIL Lab 開發。比起一個「NVIDIA 正式產品」，現在的 NCore 更接近一個由 NVIDIA 推出、邀請生態加入的公開草案。這個定位很重要——它決定了你該以什麼心態看待它。

NCore 是什麼？

NCore 的定位是「多感測器神經 3D 重建的規範性開源資料平台」（canonical open-source data platform for multi-sensor neural 3D reconstruction）。具體來說，它包含三個層次：

統一資料格式（unified data format）：定義如何儲存來自 camera、LiDAR、radar、IMU、GPS、pose estimates、calibration 參數、以及語意 semantic labels 的資料。
標準化 API：提供一致的存取介面，讓開發者不需要為每個資料集各自寫一套讀取邏輯。
跨平台設計：以 AV（自動駕駛車）、robotics（機器人）、physical AI 為主要應用場景，但架構本身是通用的。

你可以把 NCore 理解為「HDF5 + schema + API」的組合，但專門為多感測器融合場景設計——不只管格式，也管 calibration 同步、時間戳對齊、以及語意標注的儲存方式。目前最新的 V4 component-based 資料格式支援獨立管理的通用資料元件，具備模組化組合的彈性，宣稱支援 NVIDIA 自家的 Hyperion 8/8.1 AV 平台、Carter 機器人，以及第三方的 Waymo Open Dataset、Colmap、Physical-AI-AV (PAI) 資料集。

安裝方式很直接：

pip install nvidia-ncore

完整文件在 nvidia.github.io/ncore。

為什麼資料格式標準化是最關鍵的無聊問題

AV 和 robotics 社群目前有數十種互不相容的資料集格式：KITTI、nuScenes、Waymo Open Dataset、ONCE、Argoverse、KITTI-360……每個格式在座標系定義、時間戳精度、calibration 表示方式上都有細微差異。每一個想跑跨資料集實驗的團隊，都必須先花幾週、甚至幾個月寫格式轉換器（format converter）。

這個問題有幾個面向讓它比看起來更嚴重：

Calibration 不一致：camera 和 LiDAR 之間的外參（extrinsic）表示方式各自不同，轉換過程容易引入數值誤差。
時間同步複雜：多個感測器以不同頻率採樣，時間戳對齊（temporal synchronization）如果沒有標準，每次都要自行決定插值策略。
Label 語意不統一：同樣是「行人」，不同資料集的 bounding box 定義和 semantic class ID 都可能不同。

NCore 的目標是讓這些問題只需要解決一次，讓所有下游工作可以從一個乾淨的起點出發。

Loading diagram...

Neural 3D Reconstruction 的資料管道層

NCore 名字裡的「neural 3D reconstruction」不是指傳統幾何點雲，而是神經表示法（neural representations）——NeRF（Neural Radiance Fields）、3D Gaussian Splatting、implicit neural fields 這一類需要大量多視角、多模態資料才能訓練的系統。

這些神經 3D 系統的訓練流程對資料管道的要求很高：

需要精確的 camera pose 和 calibration
需要 LiDAR 或 radar 提供深度先驗（depth prior）
需要時間同步的多感測器訊號，而不是各自獨立的快照
需要語意 label 來監督場景中物件的分類

NCore 就是這個管道層（data pipeline layer）。它解決的不是「如何訓練更好的 NeRF」，而是「如何讓多感測器資料乾淨地進入 NeRF 的訓練流程」。這個層次的工作不性感，但如果沒做好，下游的演算法再強也會被髒資料拖累。

為什麼 NVIDIA 開源這件事很重要

NVIDIA 開源 NCore 背後有清晰的生態策略，類比對象是 Apache Parquet 對大數據世界的意義。

Parquet 在 2013 年以前，Hadoop 生態有 RCFile、ORC、Avro 等競爭格式。Parquet 開源後逐漸成為事實標準（de-facto standard），今天幾乎所有大數據工具都能直接讀寫 Parquet，不需要轉換。

NCore 想在 AV / robotics 世界做同樣的事：如果整個產業都把感測器資料存成 NCore 格式，NVIDIA 的 compute 工具——Isaac、DRIVE、Omniverse——就自然成為最順手的訓練和推論平台。

這是 NVIDIA 一貫的基礎設施策略：先建立開放標準，再讓自家工具成為這個標準的最佳執行環境。開源 NCore 是給生態的一份禮物，同時也是在感測器資料層插下旗幟。

應用場景

AV Simulation（自動駕駛模擬）

自動駕駛的測試里程不可能全靠實際路測，大量場景需要用合成資料（synthetic data）補足。NCore 統一的資料格式讓真實採集資料和模擬產生資料可以無縫混用，降低 sim-to-real gap。

Digital Twin（數位孿生）

建築、工廠、城市環境的 digital twin 需要融合多種感測器資料建構 3D 場景模型。NCore 提供的標準格式和 API 讓不同感測器廠商的資料可以統一接入。

Robotic Manipulation（機器人操作）

機器人在動態環境中抓取、操作物件，需要即時的 3D scene understanding。NCore 標準化的多感測器資料管道讓這類任務的資料收集和模型訓練更系統化。

Physical AI Training Environments（物理 AI 訓練環境）

物理 AI 模型需要在現實或高擬真模擬環境中訓練。統一的感測器資料格式降低了建構訓練環境的工程門檻。

Physical AI 戰略的資料層

從更大的視角看，NCore 是 NVIDIA 「physical AI」戰略拼圖的一塊。NVIDIA 近年的基礎設施布局：

Omniverse：3D 場景建構和模擬平台
Isaac：機器人 AI 開發框架
DRIVE：自動駕駛計算平台
NCore：多感測器資料的儲存和存取標準

這四個元素組合起來，覆蓋了 physical AI 從資料採集、場景重建、模擬訓練、到推論部署的完整鏈條。NCore 是最底層的資料地基——沒有它，上面三層的能力都要在資料格式轉換的泥沼裡消耗掉大量工程能量。

誰應該關注 NCore？

AV 工程師：如果你在跑跨資料集實驗或建構多感測器 perception pipeline，NCore 提供的標準格式可以大幅降低格式轉換的維護成本。

Robotics 研究者：機器人 3D scene understanding 的資料管道一直是研究社群的工程痛點，NCore 提供了一個值得考慮的上游標準。

Neural 3D Reconstruction 開發者：NeRF 和 3D Gaussian Splatting 的應用在快速擴展到工業場景，這類應用需要可靠的多感測器資料輸入，NCore 正是針對這個需求設計的。

Platform 和工具鏈開發者：如果你在建構 AV 或 robotics 的資料平台工具，提前支援 NCore 格式是一個值得考量的策略決定。

結語

資料格式標準化不是一個有趣的問題，但它的影響範圍遠超任何單一演算法突破。

NVIDIA 開源 NCore 的時機不是偶然的——neural 3D reconstruction 的應用場景正從學術研究擴展到工業落地，AV 和 robotics 的訓練資料量在快速增長，這個時間點建立格式標準的成本最低、槓桿最大。

能不能成為下一個 Parquet，取決於生態採用速度。目前 33 stars、2 forks 的數字說明這個故事才剛開始——NVIDIA 有足夠的市場位置和工具鏈影響力來推動，但開源基礎設施標準從來不是靠公告決定，是靠社群採用投票出來的。

接下來值得觀察的指標是：nuScenes、Argoverse 等其他主要 AV 資料集是否開始提供 NCore 格式的官方匯出（目前官方只確認 Waymo、Colmap、PAI 三個 converter）、PyTorch / JAX 生態是否出現成熟的 NCore loader，以及 repo 的 stars 和 contributor 數能不能在 6 個月內進入四位數。那會是真正的臨界點。在那之前，NCore 值得追蹤，但不必急著全線替換既有資料管線。