一支手機鏡頭、沒有 GPU、跑在 Chromebook 上：無標記動作捕捉的民主化

Armen Yegoryan 在 4 月 12 日發出這支 demo 時，我看了兩遍，又把技術細節想了一圈。這不是普通的「又一個 AI 展示」——他示範的事情，過去需要專業電影製作的預算才做得到，現在一台手持的普通相機加 WiFi 就能完成。

讓我說明為什麼這件事在技術上比看起來更難、也更重要。

「無標記動作捕捉」到底難在哪

傳統的 motion capture（動作捕捉，簡稱 mocap）有一個核心依賴：你必須告訴系統關節在哪裡。

老方法是在演員的關節處貼上反光標記點——肩膀、手肘、膝蓋、腳踝——再用六到十二台紅外線攝影機從不同角度同時拍攝。系統把每個標記點的三維座標拼湊起來，重建出完整的骨架運動。這套設備的商業版本造價從數萬美元起跳，架設一場拍攝要花半天，而且只能在特定的工作室空間裡使用。

更輕量的「markerless」（無標記）方案已經存在一段時間，但它們通常換了另一個依賴：計算量。現代的 pose estimation 模型——ViTPose、MediaPipe BlazePose、OpenPose——要做到高精度、即時推論，需要大量 GPU 資源；流暢的 3D 姿態重建更是計算密集的工作。

這就是 Armen 這個 demo 的突破點：一台普通手機、沒有本地 GPU、只靠 WiFi，而且他明確表示在 Chromebook 上跑得很順。

這個 demo 實際做到了什麼

把幾個要素拆開來看：

一支手持攝影機。 不是固定在腳架上的多相機陣列，而是手持、可以移動的單一鏡頭。這代表系統必須在沒有固定視角的情況下持續解算姿態，同時還得應付相機本身的抖動與視角變化。

沒有 GPU，也不吃本地 CPU 算力。 他的描述是「just WiFi」。最合理的技術解釋是：姿態估計的推論計算發生在遠端伺服器，本地裝置只負責拍攝影像和顯示結果。本地端的工作量輕到 Chromebook 就能處理——Chromebook 的硬體規格在傳統計算任務上是有意壓低的，拿它當展示基準，等於在說「這個門檻幾乎不存在了」。

Zero lost joints。 這是最技術性的一點，也是我最感興趣的地方。

AI 補位遮擋關節：為什麼這是最難的部分

當身體轉向，某個關節從攝影機視角消失——比如右手肘在轉身後被身體擋住——傳統的姿態估計系統有兩種選擇：放棄追蹤這個關節（輸出空值），或輸出一個充滿雜訊的猜測值。

Armen 走的是第三條路：AI 根據上下文推測最可能的位置。

這在技術上需要幾件事同時成立：

首先，模型要有足夠強的人體運動先驗知識（human motion prior）——也就是說，它訓練時看過夠多的人體動作資料，足以理解「如果膝蓋在這裡、骨盆在那裡，那被遮擋的腳踝大概率應該在哪裡」。

其次，預測必須在時間序列上連貫——不能每一幀各自猜，要參考前後幀的運動軌跡。如果前幾幀的腳踝都在向右移動，遮擋期間的預測就該延續這個趨勢。

第三，這個預測要夠快，才能維持即時感。

這三件事加在一起，幾年前需要相當複雜的研究級系統才能做到。現在他拿一支手機就辦到了。

技術推測：底層可能是什麼

我沒有看到 Armen 公開的技術細節，以下是合理的推測。

Pose estimation 層：候選模型包括 ViTPose（Vision Transformer 架構，精度高）、MediaPipe 的 BlazePose 或 Holistic（Google 出品，針對即時推論優化）、以及近期的 RTMPose（上海 AI Lab，在 CPU 上效率優異）。如果是在伺服器端運行，用更重的 transformer-based 模型是合理的選擇。

遮擋補位層：可能是在 pose estimation 之上疊一層 temporal smoothing 模組，或使用訓練過遮擋場景的模型（有幾個研究方向專門處理 partial occlusion）。另一個可能是用 Kalman filter 或 LSTM 做軌跡預測。

WiFi offloading 架構：最簡單的理解是手機端只跑 video capture，每幀壓縮後透過 WiFi 送到本地伺服器或雲端，推論結果再傳回來疊加顯示。延遲是這個架構的關鍵指標——影片看起來夠順，表示 round-trip latency 落在可接受的範圍內。

這解鎖了什麼

讓我們具體談使用場景，而不是泛泛說「AI 改變一切」：

獨立遊戲動畫。 一個人的遊戲開發者要做角色動畫，現在不是購買動作捕捉服務（貴），就是在 Blender 手動 key frame（慢）。如果有一個工具能讓你在客廳用手機捕捉自己的動作、直接匯入 Unity，對獨立開發社群來說是質變。

小型影視製作。 台灣有大量的短片、網路劇、YouTuber 製作團隊。他們現在能用的 mocap 方案基本是零——太貴、太複雜。這類工具讓「用 AI 輔助做出有說服力的 VFX」變成可能。

健身與運動分析。 不必在健身房安裝多台攝影機，一支手機就能分析深蹲姿勢、跑步步態。這個應用比遊戲更貼近消費市場，也更容易變現。

無障礙輔助。 用動作控制取代滑鼠或鍵盤，幫助行動不便的使用者操控介面——過去因為硬體門檻高，這類應用一直難以普及。

民主化的意義不在技術本身

我想把一件事說清楚：這類技術的重要性不在於它多先進，而在於它把門檻移到了哪裡。

專業的 mocap 棚造價數十萬美元，加上設備和技術人員，一天的拍攝成本可能超過一般台灣新創的月薪支出。這不是在說它貴，這是在說「根本不在考慮範圍內」。

一個在台南租套房的獨立開發者、一個在台北做自媒體的 YouTuber、一個在宜蘭接案的動畫師——他們現在開始可以用一支已經擁有的工具，做以前做不到的事。

這才是這支 demo 值得認真對待的原因。

Armen 目前還沒有公開這個工具的具體實作細節或程式碼，但這個方向的技術已經夠成熟，預期接下來一年內會有更多這類工具出現，也可能以 API 或開源模型的形式落地。

值得持續關注。