新模型發布後，真正的選擇是誰負責運算、資料與故障。本篇比較託管 API、自架大型模型與端側小模型，提供淘汰條件、成本公式與一頁評估單。沒有假造跑分或過期價格，讓你用自己的任務決定下一步。
目錄+
打開新模型公告後，先別急著挑硬體。你要交付的是哪一項任務？資料能去哪裡？半夜失敗由誰處理？這三個答案，比模型名稱更能決定部署方式。
本文比較託管 API、自架大型模型與端側小模型三條路線，屬於部署工具選型，沒有模型實測排名。你可以下載 AI 部署評估單，邊讀邊填自己的條件。
先用限制淘汰選項
假設你要替客服整理工單，先交付可編輯草稿，最後由人送出。若資料政策不允許送到候選供應商，該 API 就先出局；若沒有維運人員，自架也不能只憑下載成功就算可用。
這是編輯提出的選型方法。Muse Spark Open 的官方公告列出自架與託管合作路線；LFM2.5 則主打端側 agent。它們提供的選項不同，不能從發布聲量推出哪個最適合你的工單。來源：Meta 部署路線、Liquid AI 官方介紹
| 路線 | 優先考慮的情境 | 先淘汰的條件 | 最容易漏算 |
|---|---|---|---|
| 託管 API | 想先驗任務、可接受供應商資料條件 | 資料政策或可用地區不符 | 重試、人工修正、版本遷移 |
| 自架大型模型 | 已有維運能力、要自行安排部署 | 容量與值班責任沒有著落 | 閒置設備、更新、故障恢復 |
| 端側小模型 | 工作範圍窄、要在裝置處理資料 | 目標設備裝不下或品質不合格 | 裝置差異、工具外連、散落的版本 |
API 適合先確認任務值不值得做
託管方案把機器維護交給供應商，你仍要確認模型版本、資料保存政策、用量限制與失敗處理。先用合成資料跑固定任務，能減少還沒確認需求就投入設備的風險。
若任務常有長文件、重試或人工補救，單看每 token 報價會低估支出。評估單把每次輸入與輸出分開計費，再加上人工時間。填入查核當天的供應商報價與幣別，留下網址，避免把舊價格帶進決策。
自架需要一個接得住故障的人
自架讓你能選執行環境，也要安排容量、更新、監控與恢復。官方能跑的配置是候選起點，團隊還得檢查自己的權重格式、上下文與工具組合。採購表可以寫出設備，值班表也要寫出人名。
試想模型服務在同事交班時停止回應。誰能定位問題？誰決定回到舊版？若答案仍是「到時請 AI 看看」，應先縮小試驗範圍。可參考 FDE 作品集的部署與回復設計，把操作責任納入交付。
端側要在目標裝置上驗證
端側適合範圍明確、資料邊界清楚的任務，但「在本機」不能保證整條工作流離線。若工具查遠端資料或紀錄服務上傳內容，仍有外部資料流。先畫出連線，再說能保留哪些資料。
你也需要用實際目標設備檢查品質與延遲。另一台展示機的速度無法替你驗收，量化格式改變後也要重測。若你還在理解模型與工具如何接線，先讀 Hermes Agent 的本地整合方式。
用每件合格交付的成本決定
共用公式是「測試期間總成本 ÷ 合格交付件數」。總成本包含運算、重試、人工審查與維運分攤；合格件數必須通過同一份驗收標準。沒有合格件數時，這個比值應標成無法計算，不能填零。
預算、延遲與合格率門檻由你填，本文不提供假價格或通用勝出分數。先保留符合資料與人力限制的一條路，用小範圍任務驗收；真的遇到不能接受的成本或限制，再拿紀錄比較下一條。
想把這份選型接回產品需求，可接著讀 一人 SaaS 的技術選型圖文課節，練習取捨技術棧。課程免費，完整閱讀需會員登入；若頁面顯示進度鎖，須先完成前置課節。