iPad 上跑的 AI Agent：完全本地、可以操作任何 App

Finn Voorhees 在 X 上丟出了一段看起來非常違反直覺的影片：一個 AI agent，完全跑在 iPad 上，不需要連雲端，卻可以打開任意 App、點按鈕、填表單、切換畫面。他自己的註解只有一句話——「Okay this is crazy」。

這類 demo 過去幾年看過不少，但多半有一個共同的缺口：要嘛 agent 只會聊天，要嘛它會「動」但其實是雲端 VM 在驅動一個模擬畫面。Finn 這支 demo 的不同之處，在於它同時打到兩個不容易同時成立的點：跑在 iPad 本機，而且能操作任意 App。這兩個條件一旦湊齊，agent 的意義就會從「AI 助理」跳到「個人自動化基礎建設」。

技術上為什麼值得認真看

過去兩年，大部分能「操作 App」的 agent 都是兩類實作：

雲端跑 LLM，裝置端做螢幕擷取 + accessibility 操作，靠網路來回決策
雲端跑一個虛擬裝置（像 computer-use 那種路線），使用者只是看畫面

這兩種的共同問題是：延遲、隱私、電池、以及背景受限。手機/平板 OS 為了電池與資料安全，會積極砍掉背景任務、限制截圖、封鎖自動化，這讓任何靠雲端來回的 agent 在真正的個人裝置上都難以穩定運作。

Finn 展示的路線反過來：LLM 在本機執行，決策迴圈留在本機，只有必要時才碰網路。這代表：

不用等 network round-trip，每一步決策可以是幾十毫秒等級
沒有資料離開裝置，包含螢幕截圖、文字內容、App 狀態
可以在飛航模式、弱網、或室內訊號差的情境運作

對 iPad 這種「沙發上、咖啡店、通勤中使用」為主的裝置，這三點加起來就是 productivity agent 能不能從 demo 變成日常的分水嶺。

「操作任何 App」大概是怎麼做到的

Finn 沒有拆 implementation，但從 iOS 的能力邊界推回去，最可能的路徑是 Accessibility layer + UI element tree。iOS / iPadOS 的 accessibility API（VoiceOver 底層那一套）本來就會把任何 App 的畫面拆成一棵 semantic tree——按鈕、文字欄位、列表、選項。對一個視障使用者來說，這棵樹讓螢幕可以被「讀」出來；對一個 agent 來說，這棵樹讓畫面可以被「理解」與「操作」。

換句話說，agent 不是在看像素，而是在看一份結構化的 UI 表示：

讀：拿到當前畫面上所有 element 的 role、label、value
想：本機 LLM 決定下一步（tap / swipe / type / scroll）
做：透過系統層級的自動化觸發對應的互動事件

這比 computer-use 那種「純視覺 + 座標」的路線要乾淨很多，也更接近 Apple 自己在 Shortcuts / App Intents / Accessibility 一路鋪下來的基礎。如果 Finn 用的是這條路，那這個 demo 本質上是把 Shortcuts 的 App Intents 跟 on-device LLM 的 planning 能力接起來，走的是 Apple 已經鋪好的管道，而不是 hack 出來的旁門。

那個星號：「entirely on iPad*」

Finn 很聰明地留了個星號。現實一點來看，「完全本地」幾乎不可能是絕對的，合理的缺口有幾個：

模型權重下載一次性需要網路
部分 App 操作本身會觸發網路（例如傳訊息、查天氣）——這是 App 的網路，不是 agent 的
某些 tool call（搜尋、翻譯大語料）可能 fallback 到雲端模型
冷啟動時模型載入 RAM 的時間，可能被人誤認為「在聯網」

這些都是可接受的灰色地帶。核心判準是：planning loop 有沒有離開裝置？ 如果沒有，那「完全本地」這個宣稱就站得住；如果每一步 action 都要打一次遠端 LLM，那就只是 thin client。

被解鎖的 use case

真正有趣的不是「AI 會操作 App」，而是個人助理終於不只是聊天，它會做事。例如：

「幫我把剛剛收到的那封信裡的會議時間加到行事曆，並把地點複製給老婆」
「翻一下我 Notes 裡關於那個案子的片段，整理成一份 Keynote 大綱」
「打開剛剛那個客戶的 LINE，把今天的 invoice 拍照丟過去」

這些任務過去都卡在一個點：跨 App。Shortcuts 可以自動化，但要自己寫；ChatGPT 能對話，但碰不到你的 App。on-device agent 把這兩個世界連起來，第一次讓「隨口交代一件跨多個 App 的事」變成可能。

Apple Intelligence 的那條斜線

過去兩年，Apple 的 AI 敘事看起來一直落後。雲端大模型、多模態、API、agent framework——每一個戰場 OpenAI、Anthropic、Google 都先到位。但 Apple 有一條別人很難追的護城河：on-device ML + 封閉 OS + accessibility 基礎建設。

on-device agent 正好是這三條線的交會點。它需要：

夠小夠快的本機模型（Apple Silicon + Neural Engine）
系統層級的 UI 操作權限（只有 OS 廠商能完整給）
成熟的 accessibility / App Intents 語意層（Apple 已經鋪了十年）

這意味著，Apple 不需要在雲端 LLM 賽道贏——它只需要在「你的裝置上那個真正知道你生活、可以幫你動手的 agent」這條路線上贏。Finn 的 demo 不一定是官方產品，但它示範的正是 Apple 唯一有機會一次到位的敘事。

對 iOS App 生態的意義

最後一個值得想的問題：當 agent 成為一級使用者，App 會變成什麼？

答案大概是——App 會從「人機介面」慢慢變成「工具 API」。未來的好 App，不只要 UI 漂亮、人用得順，還要：

accessibility tree 乾淨，讓 agent 能讀懂
App Intents 豐富，讓 agent 能直接呼叫
狀態可觀測，讓 agent 知道操作是否成功

這對已經認真做 accessibility 的 App 是免費紅利，對只靠視覺 UX 打磨的 App 則是新壓力。長期來看，這會把 iOS 生態推往一個更結構化、更語意化的方向——剛好也是 Apple 一直想要的方向。

Finn 這支影片可能只是一個週末 demo，但它指出的是一條很具體的路線：agent 的未來不一定是雲端的、通用的、全能的。它也可以是本地的、個人的、貼著你的裝置長出來的。 而這種 agent，才是真的會改變一般人怎麼用手機與平板的那一種。