跳到主要內容
Granite Switch 4.1 聊天、決策、語音共用端點
/閱讀約 3 分鐘/

Granite Switch 4.1 聊天、決策、語音共用端點

IBM Granite Switch 4.1 把聊天、決策 adapter 與語音轉文字組進同一個模型服務,提供預組合權重與示範。本文整理如何切換能力、取得模型,以及語音目前只支援英文的限制,幫開發者判斷能否少接一套獨立服務。

IBM 在 10 月 15 日介紹 Granite Switch 4.1,讓聊天、決策與語音轉文字共用一個服務端點。官方提供 8B 與 30B 基礎模型的預組合版本,開發者不必各自把聊天、分類與轉錄服務接成多條 API。來源:IBM 發布文章

同一個模型服務,按需求切換能力

組合包包含一般決策的 Decision adapter、安全判斷的 Guardian adapter,以及語音轉文字編碼器。聊天可產生自然語言回答;決策模式則根據帶標籤的選項回傳機率,適合需要明確選項的工作流。

官方用 Activated LoRA 讓 adapter 按需啟動,並重用基礎模型的 KV cache。IBM 主打的是減少重複處理同一段上下文、把專門任務放進共同服務;這是官方架構說明,本文沒有獨立量測節省幅度。

開發者也能用組合器自行挑選 Granite Libraries 的專門 adapter,並不限於官方預組合包。Guardian 等 adapter 可透過 Mellea 包成應用操作;但 Decision 尚無 Mellea 內建操作,仍須依模型卡低階呼叫。

因此,這次交付的不只是單一聊天模型,也包含可重組的專門能力與接入方式。已經維護多種分類服務的團隊,可以從這裡看哪些功能有機會共用基礎模型。

權重與範例已開放,語音目前限英文

8B 版本的模型卡列出 Apache 2.0 授權,提供 Transformers 與 vLLM 路線。同一個 vLLM 服務可透過請求中的 adapter 名稱切換 Decision 或 Guardian,模型卡也附音訊輸入範例。開發者可下載權重部署,或先看官方的語音轉決策示範。

音訊會先轉成文字,再放進聊天上下文,並非語音與語言模型已共同訓練完成。模型卡明列,目前轉錄限英文,輸出是小寫且沒有標點;要處理繁中會議,這套內建語音路線尚不適用。來源:官方模型卡與限制

已有英文語音、內容安全與選項判斷需求的團隊,可以研究能否合併服務。IBM 的示範可在 Speech to Decisions查看;準備做企業導入,再搭配 FDE 作品集的權限設計。