Pegasus怎麼用 第一視角影片轉機器人訓練資料教程

Pegasus是TwelveLabs推出的工具，可以把第一視角拍攝的影片自動轉換成機器人訓練資料，用於訓練AI機器人完成實際任務。它會識別影片中的動作、物體和時間段，輸出可檢查的結構化標註；不過結果仍需人工核對，機器人的動作控制和訓練也要接入其他系統。下面按實際流程來操作。

第一步：準備第一視角素材

先用頭戴相機、胸前相機或機器人機載相機，拍清楚完整任務過程。鏡頭儘量穩定，手、工具、目標物都要留在畫面裡；光線不足、鏡頭被遮擋、動作突然跳切，都會增加識別難度。每段影片最好圍繞一個明確任務，並保留開始、操作和完成後的畫面，方便後續切分與檢查。

第二步：整理任務與標註類別

上傳前先把任務寫清楚，例如“拿起螺絲刀並擰緊面板螺絲”，再列出動作、物體和結果類別：拿取、定位、擰緊、工具、螺絲、完成或失敗。分類名稱儘量固定，不要同一動作一會兒叫“拿起”、一會兒叫“抓取”。團隊可把這份標籤表儲存下來，作為不同影片的統一標註規範。

第三步：進入TwelveLabs並建立專案

開啟TwelveLabs平臺，登入帳號後進入開發或影片分析相關入口；若介面提供新建專案，就點選建立並填寫專案名稱、用途和資料集說明。選擇支援影片理解的Pegasus模型版本；針對第一視角素材，優先選具備egocentric影片支援的版本。選單名稱可能隨平臺更新調整，找不到入口時從官方Build或產品控制檯進入。

第四步：上傳影片並檢查檔案

在專案頁面點選上傳或新增影片，選取準備好的素材，等待平臺處理完成。上傳後先檢查影片是否能正常播放、時長是否完整、畫面方向是否正確；檔名建議帶上任務名、日期和編號，例如“裝配_批次01_003”。如果平臺支援批次上傳，可先用少量樣本測試，再提交整批，避免格式或內容問題影響整個資料集。

第五步：設定動作分段與輸出欄位

在分析任務或API配置中，指定要生成的內容：動作起止時間、動作標籤、涉及物體、左右手與物體的互動，以及簡短場景描述。把第二步的分類表寫進提示詞或自定義schema，要求模型按欄位返回結構化結果。比如說明“按動作變化切分，每段給出開始和結束時間、動作、手部角色、物體及完成狀態”。

第六步：執行分析並檢視時間戳

點選開始分析或提交任務，等處理狀態完成後開啟結果頁。逐段對照影片，檢視動作標籤是否準確、時間戳有沒有切早或切晚、同一工具是否被持續識別為同一物件。特別檢查抓取、放置、接觸和失敗恢復等關鍵節點；如果平臺提供質量評分或低質量片段篩選，可先挑出模糊影片，重新拍攝或單獨複核。

第七步：人工校正並匯出資料

把誤識別、漏標和邊界不準的片段改好，再匯出平臺支援的結構化格式，例如JSON或CSV；具體格式以專案匯出選項為準。儲存原影片、修訂標籤和版本號，避免只留模型輸出。將時間段、動作類別和物體欄位對映到自己的機器人訓練管線；如果訓練需要關節軌跡、姿態或力感測器資料，還得另外採集並對齊，影片描述不能代替這些訊號。

第八步：小批次驗證並迭代

先選少量已複核的影片接入訓練流程，檢查標籤能否被資料載入器正確讀取，並觀察機器人是否學到預期動作。遇到錯誤時，區分是拍攝不清、分類定義含糊、時間邊界不合適，還是模型漏檢，再針對性調整素材或schema。潤滅也可以記錄每輪修改和驗證結果，方便復現實驗；別把一次自動標註直接當成可用訓練集。

國內影片製作替代方案

如果手頭還沒有合適的演示影片，可先用影片工具製作任務流程示意或整理素材，再按上述要求準備真實第一視角錄影。LiblibAI可作為影片創作工具選項，相關入口：LiblibAI官網。生成或剪輯的影片適合做流程預演、溝通和測試，不應冒充真實機器人運算元據；正式訓練前仍需核驗素材來源、動作真實性和標註質量。