LingBot-Map：用純 autoregressive 模型做即時 3D 重建——不靠 SLAM 也能跑 20 FPS

香港科技大學助理教授 Yinghao Xu（前 Stanford 博後、前 RobbyAnt staff scientist）於 2026-04-16 在 X 上宣布團隊歷時一年完成的 3D foundation model：LingBot-Map。

這個模型對應的論文已經放在 arxiv（2604.14141），標題是「Geometric Context Transformer for Streaming 3D Reconstruction」。

它做什麼

簡單講：從一段影片串流即時重建出 3D 場景——包含相機位姿（pose）和點雲（point cloud）。

這個任務在學術界叫 streaming 3D reconstruction，本質上是把 SLAM（Simultaneous Localization and Mapping）這個傳統機器人領域的問題，用 deep learning 重新做一次。

LingBot-Map 的實測規格：

~20 FPS（518×378 解析度）
sequence > 10,000 frames 仍維持穩定
純 feed-forward 架構，不需要 test-time training 也不需要 post-optimization

20 FPS 這個數字的意義在於：它接近即時——對機器人感知、AR/VR、自駕等應用都已經是堪用門檻。

跟 DA3、VGGT 差在哪

Yinghao 在推文中明確區分：「Unlike DA3/VGGT, LingBot-Map is a purely autoregressive model for streaming 3D reconstruction.」

DA3（DUSt3R 系列的繼承）和 VGGT 都是當前 3D reconstruction 領域的強模型，但它們不是純 streaming 設計——通常需要 batch 處理或 iterative optimization。

LingBot-Map 走的是純 autoregressive 路線：每一個新的 frame 進來，模型直接 forward 一次就輸出新的 3D 估計，不需要回頭優化或全域對齊。這個設計特別重要，因為它讓模型能無縫接上即時影片流，沒有「等一段再算」的延遲。

架構：Geometric Context Transformer

論文核心貢獻是 GCT（Geometric Context Transformer） 架構，特別設計的 attention 機制整合了三個關鍵組件：

Anchor context：解決座標系統的 grounding 問題，避免模型在長序列中失去參考座標
Pose-reference window：提供 dense 的幾何線索給當前 frame
Trajectory memory：處理長距離的 drift correction，防止累積誤差

這三個組件讓 streaming state 保持精簡，但同時保留豐富的幾何上下文。這也是為什麼它能在 10,000+ frames 的長序列上維持穩定。

Benchmark 數字

論文提供了三個資料集的對比：

Tanks and Temples

LingBot-Map：AUC@30 = 92.80，ATE = 0.20
Stream3R（runner-up）：AUC@30 = 81.33，ATE = 0.76
LingBot-Map 領先 +11.47 AUC points，ATE 為 Stream3R 的 1/3.8

ETH3D

LingBot-Map：F1 = 98.98，ATE = 0.22
Wint3R（runner-up）：F1 = 77.28，ATE = 0.86
F1 領先 +21.70 points，ATE 為 Wint3R 的 1/4

7-Scenes

LingBot-Map：F1 = 80.39，ATE = 0.08（最低）

LingBot-Map vs runner-up（Stream3R / Wint3R）｜來源：arxiv 2604.14141

這些數字的意義：LingBot-Map 不是針對某個 scenario 的特化模型，是一個通用 streaming 3D foundation model——從室外結構（Tanks and Temples）到精細室內幾何（ETH3D）到複雜室內場景（7-Scenes）都能維持 SOTA。

為什麼這件事重要

3D reconstruction 過去十年有兩條路線：

傳統 SLAM：精準但需要繁複的 hand-engineered pipeline，且通常需要特定 sensor 配置
Deep learning 3D：泛化好但慢，需要 batch 處理或迭代優化

LingBot-Map 嘗試走第三條路：deep learning 的泛化能力 + autoregressive 的即時性。如果這個方向成立，意味著未來機器人、AR 裝置、自駕車的感知模組可以更接近「裝上去就能用」的形態，不需要為每個場景重新調整 SLAM 參數。

對 embodied AI 領域，這特別有意義。Yinghao 自己的研究方向就是「unify 3D reconstruction, world simulation, and embodied action」——LingBot-Map 是這條敘事裡 reconstruction 那一塊的具體交付。

但要注意

論文 benchmark 數字漂亮，但有幾件事社群還沒完全驗證：

真實世界的 noisy sensor 環境（手震、光線變化、遮擋）下的表現
在 dynamic scenes（有移動物體）的處理能力
inference 所需的 GPU 等級（論文沒明確寫硬體規格細節）

20 FPS @ 518×378 是個漂亮的數字，但實際部署到邊緣裝置（例如 AR 眼鏡或機器人 SoC）時，這個性能能否維持，需要更多獨立評測。

論文連結：arxiv 2604.14141。