跳到主要內容
Mercury 3 上線,千 token 秒速仍要驗延遲
/閱讀約 3 分鐘/

Mercury 3 上線,千 token 秒速仍要驗延遲

Mercury 3 已提供 API,Inception 宣稱每秒輸出 1,068 token,並把上下文擴到百萬 token。本文整理正式與上市優惠價格、模型名稱,以及串流整合容易忽略的文字覆寫行為;做客服或搜尋代理前,先分開量測第一段回覆與整個任務的等待時間。

Inception 十月十九日發布 Mercury 3,這款擴散式語言模型已提供 API。官方宣稱在 NVIDIA GPU 上每秒產生 1,068 token,上下文也從 Mercury 2.5 的二十六萬擴到一百萬 token。想做客服、搜尋或瀏覽器代理,可以把它列入低延遲模型的測試名單;這個速度數字仍是供應商主張。來源:官方發布公告

價格與接法先確認

官方目前的上市半價為每百萬輸入 token 0.10 美元、輸出 0.35 美元;原價分別為 0.20 與 0.70 美元。文件沒有在這段優惠說明中列出結束日期,做長期成本估算時應保留原價情境。百萬上下文也不代表能一次輸出百萬 token,文件列出的最大輸出為 131,072 token。來源:模型與定價文件

接入時,官方範例使用模型名稱 mercury-3,提供相容 OpenAI 的呼叫方式。推理強度可選 instant、low、medium 或 high,省略時預設為 low。比較不同模型的速度前,要記錄這項設定,避免把較少推理的回覆和較高推理強度的任務混在一起。來源:快速開始、推理設定

串流畫面也要驗收

Mercury 的串流以文字區塊回傳。若另外啟用 diffusing,每個區塊包含當下正在修整的完整文字;官方示範會覆寫畫面,直接把區塊一路接上可能重複顯示內容。來源:串流與擴散文件

正式換版前,先拿固定輸入測第一段可見回覆的等待時間、整段完成時間、工具呼叫成功率與重試成本。搜尋、資料庫和外部服務仍會增加等待,輸出速度不能直接換算成整個產品的回應時間。本站尚未執行 Mercury 3 API 實測,不能把官方比較分數當成你的任務成功率。

要把模型接進產品,可接著讀一人團隊 AI SaaS 實戰免費課程:實際第五課提供技術選型決策表與產品架構草圖,協助你整理替換工具的整合成本。課程免費,會員課節需登入,建議依學習順序閱讀。