Jetson 上的 12GB 省出來：NVIDIA 讓 Orin 跑 10B 參數模型的完整手冊
NVIDIA 公開一份 Jetson 記憶體優化指南：關掉桌面省 865MB、W4A16 把 Qwen3 8B 壓掉 10GB、再搭配 NVFP4，讓 Orin Nano 8GB 能跑 10B 參數的 LLM。不是單一魔法，是五層 stack 一起擠出來的結果。
目錄+
邊緣 AI 的老問題：硬體記憶體有限，但模型越做越大。NVIDIA Robotics 4 月 21 日的推文帶出一份非常實用的 技術部落格——在 Jetson Orin NX / Orin Nano 上，如何一路把 5GB 到 12GB 的記憶體省回來，讓 8GB 記憶體的邊緣裝置也能跑 10B 參數 LLM、4B 參數 VLM。
這不是一個單一技巧，是五層 stack 一起擠的成果。
五層優化，各省多少
從最底層往上：
1. Jetson BSP / JetPack 層
- 關閉桌面 GUI：最多省 865 MB
- 關閉不使用的 carveout regions（顯示、camera 預留的記憶體塊）：再省 100 MB+
這兩項加起來接近 1GB。聽起來不多，但 Orin Nano 總共就 8GB——這是 12% 的原地免費空間。
2. Inference pipeline 層
處理模型在執行時的 intermediate tensor、KV cache、多模型共存時的記憶體共享。NVIDIA blog 有詳細的調校手冊，重點是：盡量把 KV cache 釋放策略設成 aggressive，特別是多輪對話不長的機器人場景。
3. Inference framework 層
選對 runtime。NVIDIA 給的選擇包含 TensorRT-LLM、Llama.cpp、MLC-LLM，每一個在 Jetson 上的記憶體效率都不同——不需要盲目選「最快的」，要看是 dense 模型、MoE 還是 VLM。
4. 量化層（最大節省來自這裡）
| 策略 | 節省 | 模型 |
|---|---|---|
| Qwen3 8B：FP16 → W4A16 | 約 10 GB | Qwen3 8B |
| Qwen3 4B：BF16 → INT4 | 約 5.6 GB | Qwen3 4B |
5. NVFP4 格式（Blackwell 新貢獻）
NVFP4 是 NVIDIA 為 Blackwell 設計的 4-bit 格式：每 16 個值共享 1 個 FP8 scale（4.5 bits/value），加一個 per-tensor 的 FP32 scale。這個結構相較於 FP16 把模型記憶體 footprint 縮到約 1/3.5，相較於 FP8 縮到約 1/1.8（來源：NVIDIA blog on NVFP4）。
Jetson 產品線對這些格式的支援程度不同，要查 NVIDIA Jetson 產品目錄。
真的能跑什麼？Reachy Mini 示範
NVIDIA 在 blog 裡給了一個具體示範：Reachy Mini Jetson Assistant——一台會對話的 AI 機器人，跑在 Orin Nano 8GB、零雲端連線。同時在運行：
- 4-bit 量化的 Cosmos-Reason2-2B 視覺語言模型（走 Llama.cpp）
- faster-whisper 做語音辨識
- Kokoro TTS 做語音輸出
- Robot SDK 加現場 web dashboard
這不是 demo 用的 toy。它是一個 multi-modal pipeline 在 8GB 上同時跑起來的實證。
但是：不是所有模型都能這樣壓
這是這份手冊最容易被忽略的 caveat。
NVIDIA 建議的量化流程是：從高精度開始，漸進測試低精度，直到 accuracy 掉到可接受門檻以下。換句話說——
- W4A16、INT4、NVFP4 在多數 LLM 工作負載上能保持強 accuracy
- 但不是每個任務都能接受 4-bit 的誤差——特別是需要精確數值推理、長鏈推論、或 safety-critical 決策的場景
- 做機器人控制時，perception → planning → actuation 這條鏈上的量化誤差會累積
所以這份手冊其實有一個隱含假設：你的任務是 LLM 對話、視覺問答、簡單的機器人互動。如果你要做的是工業級精密 QC、醫療影像判讀、或自駕路徑規劃，直接套 4-bit 不是自動安全的選擇。
對華語開發者的實戰啟發
如果你在台灣玩 Orin Nano 或 Orin NX 做機器人、智慧家居、邊緣推論 demo，這份手冊的三個最划算做法：
- 先關桌面（865MB）。這個改動最簡單，收益最確定。
- 把 Qwen3 8B 換成 W4A16。一次省 10GB，是所有改動裡最大的單筆。
- 選 Llama.cpp 先試。Jetson 上對量化 GGUF 模型的支援成熟，能先快速驗證模型可用性，再考慮 TensorRT-LLM 去壓 latency。
2026 年的 edge AI 有個很清楚的方向：模型壓縮 + 系統層優化已經比「買更貴的 GPU」能帶回更多空間。這份 Jetson 手冊不是突破性科學成果，它是把過去兩年散在各處的經驗法則整理成一條清楚的 checklist——這種文件在邊緣開發裡比 benchmark 更實用。
真要挑毛病：NVIDIA 的例子都在自家精心設計的場景（Reachy Mini + Cosmos-Reason2 + Orin Nano）。在實務專案裡，你會踩到的坑——驅動版本不一致、JetPack 升級破壞既有 build、第三方 runtime 對新量化格式支援滯後——這份 blog 一個字都沒提。
但值得把它收藏。這是現階段做 Jetson 邊緣部署最完整的一份官方 playbook。