Flipbook：用影片模型直接渲染 UI——一個沒有 HTML 的賭注

2026-04-22，Zain Shah 與 Eddie Jiao、Drew Carr 三人發布了一個叫 Flipbook 的原型。它的概念可以用一句話講完：螢幕上每一個像素都直接從一個影片模型即時串流出來，沒有 HTML，沒有 layout engine，也沒有任何 code。

這聽起來像極了 demo video 才會出現的東西。但他們真的做了。

把整個介面交給影片模型

傳統 web UI 是這樣運作的：HTML 描述結構，CSS 描述樣式，JavaScript 處理互動，瀏覽器負責把這些指令翻譯成像素。

Flipbook 把這四層全部丟掉。

它用 LTX-2.3（Lightricks 開源的多模態影片生成模型）直接產生螢幕上會看到的所有畫面——按鈕、文字、插圖、互動元件，全部是 pixel-by-pixel 從模型輸出的影片畫面。透過 WebSocket 連到 Modal Labs 的 serverless GPU，串流 1080p、24fps 的即時影片。

第二則推文點出這個架構的有趣之處：因為沒有嚴格的 layout engine，插圖會自動重新排版以適應視窗。而且更激進的是——畫面上任何一個區域都可以變成可互動的，不只是某人事先決定要做成按鈕的那些。

換句話說，互動性不再被 DOM 結構限制。

為什麼是 LTX-2.3？

選擇 LTX-2.3 不是隨機的。Lightricks 的這個模型有兩個關鍵特性符合 Flipbook 的需求：

第一，它真的快。根據 LTX Studio 官方資料，LTX 系列可以在 2 秒內生成 5 秒影片——快於即時。這對串流型 UI 是必要條件，沒有這種速度連 demo 都做不出來。

第二，它是開源的。模型權重、推論程式碼、reference pipeline 全部公開，意味著 Zain Shah 團隊可以「heavily optimized」它（他自己的用詞）來達到 1080p 24fps 的串流目標。閉源模型不可能做到這種程度的客製。

Modal Labs 的角色

第三則推文提到了 infrastructure 選擇：Modal Labs 的 serverless GPU。

Modal 的定價邏輯適合這種突發性、高 GPU 需求的工作負載：A10 $0.000306/sec、H100$0.001097/sec，且容器閒置時不收費。這種 per-second 計費模式對 Flipbook 這種「使用者開了才需要算力」的應用是合理的。

但這也帶出一個現實問題——以 H100 等級的 GPU 持續串流 24fps 影片，每分鐘成本約 $0.066（約$4/小時）。如果 Flipbook 真的有大量使用者，光是 GPU 成本就會是創業團隊難以負擔的營運開銷。

這是 generative UI 目前無法跨過的根本問題：它在每個工程維度上都很貴。

這個概念的脈絡

Flipbook 並不是孤例。

Google Research 也在 2026 年發表了 generative UI 論文，用 Gemini 3 Pro 動態生成完整的 UI 體驗——包括網頁、遊戲、工具、應用程式。這個能力目前已經在 Gemini app 和 Google Search 的 AI Mode 上線。

差別在於：Google 的版本仍然輸出可解析的網頁結構（HTML/JS/CSS），只是讓 LLM 動態產生這些結構。Flipbook 走得更遠——連結構都沒有，全部是 pixel。

兩種路線的終點不同：Google 想讓現有 web stack 變得更動態；Flipbook 在問「為什麼還需要 web stack」。

但它現在還很爛

Zain Shah 自己在第四則推文承認：「Today, Flipbook is limited.」

LinkedIn 上 Ezra Eeman（NPO 媒體人）試用後給出更具體的評語：「lots of hallucinations and slow」——大量幻覺、慢。這很合理：把整個 UI 交給影片生成模型，等於把所有「介面元素應該長什麼樣」的責任都丟給模型決定，而當前的影片模型還沒有那種一致性和準確度。

按鈕要顯示「儲存」還是「儲蓄」？文字會不會在不同 frame 之間突然變樣？同一個介面元素在使用者第二次點擊時會不會變成完全不同的東西？這些都是 DOM 系統 30 年前就解決過、但 pixel-streaming 系統現在要重新面對的問題。

Flipbook 的設計團隊也清楚這點，所以選擇先做 visual explanations——一種容錯性最高、不需要狀態一致性的應用場景。等模型「more accurate and more stateful」（更精確、更有狀態）之後，他們才認為值得擴展到像 coding 這種需要嚴格結構的應用。

為什麼還是值得看

這個 demo 重要的不是它今天能做什麼，而是它在問一個正確的問題：如果模型能直接生成像素，介面為什麼還要透過 DOM 翻譯？

這個問題在 5 年前是 sci-fi，現在因為 LTX-2.3 這種開源、faster-than-realtime 的影片模型存在，加上 Modal Labs 這種 per-second 計費的 GPU 基礎設施，第一次有人做出半可用的版本。

它今天有 hallucination 和 latency 的問題。但這兩個問題都是模型品質和 inference 效率的函數——而這兩個都在快速進步。三年後再看 Flipbook，可能會跟今天看 GPT-3 demo 一樣：你不會說它好用，但你會記得這是某個典範轉移的起點。

或者它只是一個技術上很酷、但永遠不會 scale 的 demo。

兩種結局都可能。