Nemotron 3 Nano Omni：NVIDIA 的 30B 全模態模型，對比 Qwen3-Omni 吞吐量高 9 倍
NVIDIA 發布 Nemotron 3 Nano Omni，30B-A3B MoE 架構、256K context，單張 B200 長影片吞吐量比 Qwen3-Omni 高 9 倍，完全開源供商業使用。
目錄+
多模態模型的問題一直不是「能不能做到」，而是「做到了之後推論成本炸不炸」。
Nemotron 3 Nano Omni 的定位是後者的解方：一個把視覺、音訊、文字整合進單一推論迴路的 30B 模型，但設計重點是讓企業在生產環境跑得起來。
架構：30B 參數，每次推論只動 3B
Nemotron 3 Nano Omni 採用 30B-A3B 混合 MoE（Mixture of Experts） 架構——總參數 30B，但每次前向傳播只激活約 3B 參數。這是跟 Qwen3-Omni 同規模競爭的設計選擇：用稀疏激活換高吞吐、低成本。
其他規格（來源：NVIDIA 官方 blog 和 Hugging Face model card）：
- 256K token context window
- 輸入模態：文字、圖片、影片、音訊
- 輸出：文字（含推理）
- 架構細節：Mamba2-Transformer Hybrid MoE，搭配 Conv3D（處理影片時序）和 EVS（Efficient Video Streaming）
- 授權：NVIDIA Open Model Agreement，支援商業使用
- 發布日期：2026-04-28，同步上 Hugging Face、OpenRouter、build.nvidia.com 及 25+ 合作夥伴平台
吞吐量數字（來源：NVIDIA 技術報告）
NVIDIA 在技術報告（research.nvidia.com）裡提供了單張 B200 GPU 的測試數據：
- 最大並發下：輸出 5,000 tokens/s（多文件工作負載）
- 以每用戶 50 tokens/s 為互動性目標時：長影片工作負載吞吐量是 Qwen3-Omni 的 9 倍、多文件工作負載是 7.5 倍
- 和上一代 Nemotron Nano V2 VL 比：同一互動性目標下吞吐量高 3 倍
- 多文件工作負載的首 token 時間（TTFT）：約 1.3 秒，Qwen3-Omni 超過 2.5 秒
測試條件：vLLM nightly 2026-04-19，NVFP4 量化，B200 GPU。
Benchmark 表現
Hugging Face model card 上的評估數字（選取部分）：
| 任務 | 分數 |
|---|---|
| OSWorld（電腦操作） | 47.4% |
| OCRBenchV2（文件理解） | 67.04% |
| VideoMME（影片 Q&A） | 72.2% |
| MathVista MINI | 82.8% |
| Voice interaction | 89.39% |
音訊理解部分，Qwen3-Omni 在 MMAU 平均得 77.5，Nemotron 3 Nano Omni 得 74.6——音訊這塊略輸一籌，但在 speech recognition 多個子任務上有優勢。
已確認採用或正在評估的企業包括：Aible、Foxconn、Palantir、DocuSign、Oracle、Infosys（來源：NVIDIA 官方 blog）。
Qwen3-Omni 的反例
說 9 倍吞吐量之前，需要交代背景。Qwen3.6-27B 在 BenchLM 的綜合榜上得 74 分，Nemotron 3 Nano Omni 得 56 分——整體推理能力比 Qwen3-Omni 系列弱，特別是 coding（LiveCodeBench：53.5% vs 83.9%）和複雜推理任務。
也就是說，Nemotron 3 Nano Omni 的定位不是「最聰明的 30B 模型」，而是「在企業多模態 agent 場景裡成本效益最好的模型」。如果你的工作負載是程式生成或數學推理，Qwen3-Omni 系列可能更合適；如果是高並發的影片分析、文件 OCR、語音處理，Nemotron 3 Nano Omni 的吞吐量優勢才有意義。
開源、支援商業使用、Hugging Face 和 OpenRouter 都可以直接用，B200 以外的硬體表現 NVIDIA 沒有提供獨立測試數據——這是評估時需要自己跑的部分。