Hermes Agent 把創意工具變成一句話:ComfyUI、TouchDesigner、HyperFrames 全內建
Hermes Agent v0.12.0 把 ComfyUI 和 TouchDesigner-MCP 從選配改成預設內建,v0.13.0 再加 HyperFrames。三個向來以學習曲線陡峭著稱的創意工具,現在都能用一句自然語言驅動——龐大的 custom node 生態變成 agent 能直接呼叫的 surface。
目錄+
創意工具的學習曲線一直是門檻。Hermes Agent 把它們變成 agent 可呼叫的能力,門檻從「學會操作」變成「描述你要什麼」。
v0.12.0「Curator Release」(2026-04-30)把 ComfyUI 和 TouchDesigner-MCP 從可選安裝改成預設內建。v0.13.0「Tenacity Release」(2026-05-07)在 295 位貢獻者、864 commits 之後上線,HyperFrames 跟著進來。你現在可以直接對 Hermes 說「用 ComfyUI 跑這個工作流程」,然後去喝咖啡。
ComfyUI:custom node 生態變成 agent surface
ComfyUI 是開源生成式媒體領域最強、也最難的工具——它把所有生成過程拆成節點,你拉線、組 graph、調參數,能做出商業工具做不到的精度。代價是極高的學習門檻:節點目錄看起來像化學週期表。它的核心優勢一直是兩件事:彈性(任何新模型——Flux、SDXL、Wan、Sora 級開源版本——出來的隔天就有人寫 custom node 整合)和可重現(workflow 是 JSON,可以分享、版本控制、確定性執行)。但這兩個優勢都需要使用者自己懂節點怎麼接。普通內容創作者只能用 prebuilt workflow,調參空間有限。
Hermes 的 ComfyUI skill 處理的就是這層摩擦。你給 agent 一句話描述想要的輸出,它自己處理節點安裝、workflow 設定、執行。官方 skill 文件列出的腳本架構:
| 腳本 | 用途 |
|---|---|
hardware_check.py | 探測 GPU / VRAM / 硬碟,推薦本地 vs Comfy Cloud |
comfyui_setup.sh | 硬體偵測 + 安裝 + 啟動 + 驗證一條龍 |
extract_schema.py | 讀工作流程,列出可調整的參數與模型依賴 |
check_deps.py | 檢查工作流對照執行中的伺服器,列出缺少的節點 |
auto_fix_deps.py | 自動跑 comfy node install 和 comfy model download |
run_workflow.py | 注入參數、提交、監控、下載輸出(HTTP 或 WebSocket) |
run_batch.py | 同一工作流跑 N 次,支援 sweep 掃描 |
你說「安裝 ComfyUI」,agent 跑 bash comfyui_setup.sh。你說「把這個工作流跑 5 次,每次換不同 seed」,agent 跑 run_batch.py。生命週期管理用 comfy-cli,執行層走 REST / WebSocket 直連。
它跟「直接 call ComfyUI API」差在哪:
- agent 會自己裝節點:透過
/manager/queue/install端點,缺的 custom node 自己抓 - agent 自己組 workflow graph:不是 user 拉一個 prefab workflow,是 agent 看任務描述決定接什麼節點
- agent 能 debug:跑壞了會看 error、修 graph、重跑
agent 不是在幫你打指令,它是在做決策——先問硬體,再決定要不要用雲端,再決定缺哪些節點,然後修。Nous Research 在 GitHub commit log 裡(github.com/nousresearch/hermes-agent)可以看到他們在仔細修正節點目錄——把錯誤的 Canny 改成 CannyEdgePreprocessor、修正 IPAdapter 的 enum 處理、移除不存在的 JS-only 節點。這些不是 demo-grade 的東西,是真的在生產級 workflow 上踩坑修出來的。對 custom node 作者來說,這也是一條新分發路線——agent 會自動裝你的 node,前提是 metadata 寫對。
TouchDesigner-MCP:即時視覺也能自然語言驅動
TouchDesigner 是實時視覺工具裡學習曲線最陡的一個。節點圖邏輯、CHOP / TOP 型別系統、GLSL Shader——一般人入門要幾個月。
Hermes 的 touchdesigner-mcp skill 走的是 twozero MCP,連進 port 40404,給 agent 36 個原生工具。插件免費,2026 年 4 月官方確認不需要付費。架構是:
Hermes Agent → MCP (Streamable HTTP) → twozero.tox (port 40404) → TD Python
你說「做一個聲音驅動的 GLSL 視覺」,agent 知道正確的 signal chain 長什麼樣:
AudioFileIn CHOP → AudioSpectrum CHOP (FFT=512, outlength=256)
→ Math CHOP (gain=10) → CHOP to TOP → GLSL TOP
這些細節你以前要自己查文件,現在 agent 直接知道。
HyperFrames:v0.13.0 新增的影片生成
HyperFrames 是 HeyGen 的開源框架,用 HTML/CSS/JS 定義影片場景和時間軸,透過瀏覽器 + FFmpeg 渲染成 MP4。設計理念就是讓 AI agent 驅動。
為什麼 agent 適合操 HyperFrames?因為 LLM 本來就很擅長寫 HTML,而 HyperFrames 把影片結構(片段、字幕、圖片、音軌、轉場)全部用 HTML 元素和 data- 屬性表達。你說「做一個 10 秒的產品介紹,淡入標題、背景影片、背景音樂」,agent 直接生成完整的 HTML 結構。支援的動畫庫:CSS、GSAP、Lottie、Three.js,還有 Anime.js、WAAPI。要求:Node.js ≥22,FFmpeg 已安裝。
幾個可以直接用的 prompt:
Using /hyperframes, create a 10-second product intro with a fade-in title, a background video, and background music.Take a look at this GitHub repo and explain its architecture using /hyperframes.Turn this CSV into an animated bar chart race using /hyperframes.
對創作者的意義
三個工具各自的定位:
| 工具 | 主要用途 | 門檻來源 | Hermes 解決什麼 |
|---|---|---|---|
| ComfyUI | 圖片/影片/音頻生成 | 節點圖、模型管理、依賴地獄 | 安裝、依賴修復、批次執行自動化 |
| TouchDesigner | 實時視覺、互動裝置 | CHOP/TOP 系統、GLSL、節點邏輯 | 36 工具直接控制,signal chain 知識內建 |
| HyperFrames | 結構化影片生成 | 時間軸、場景合成 | LLM 直接寫 HTML 結構,渲染出 MP4 |
三個工具的共同點:都有很深的學習曲線,都有很強的輸出能力。Hermes 不是在降低這些工具的上限,而是在消除你入門到第一個輸出之間的摩擦。對開源生態來說,這是把工具的天花板往上抬,把地板也往下挪。
但有幾件事要清醒:品質還是綁工具本身的模型——agent 解決的是「組 workflow」這層,不是「模型訓練不夠好」這層,爛模型 + agent 還是爛。Self-improving 也是兩面刃——commit log 顯示他們頻繁修「幻覺節點名」,agent 抓錯節點名是真實風險,需要 human review。計算成本同樣會被放大:ComfyUI workflow 動輒吃 8–24GB VRAM,把這件事自動化代表你會更快燒掉本地 GPU 或 cloud GPU 額度。
如果要認真跑這些創意工作流,硬體和工作環境會直接影響產出效率。想在本地跑大型算圖或微調的人,VRAM 是第一道天花板;長時間創意工作則吃環境配備——桌面 4 件套(鍵盤、USB-C Hub、螢幕掛燈、站立書架)對需要久坐剪輯、調參的工作室是合理的基本盤,符合人因工程的配備能降低疲勞。另外,SuperGrok 訂閱可以直接接入 Hermes Agent,不需要另外申請 API key——細節看這篇。
利益揭露:本文部分連結為聯盟連結,點擊購買我會獲得回饋,不影響你的價格。
參考來源:Nous Research v0.12.0 / v0.13.0 release notes、github.com/nousresearch/hermes-agent commit log、ComfyUI 官方 skill 文件、HeyGen HyperFrames 文件。