GitHub Copilot Computer Use怎麼開 桌面自動化操作教程

先確認版本和使用環境

確認系統與客戶端

先把 GitHub Copilot 更新到較新的版本，再確認電腦執行 Windows 或 macOS。Computer Use 目前處於公開預覽，可從 GitHub Copilot 桌面應用或 Copilot CLI 使用；它不是 VS Code 裡隨便開啟一個聊天視窗就能控制桌面的功能。準備測試時，先開啟目標應用並停在明確頁面。

選擇適合自動化的任務

優先挑一個低風險、可撤銷、步驟固定的任務，例如把一條測試資訊填入表單草稿，或從桌面軟體讀取指定欄位。若任務能透過 API、命令列或 MCP 直接完成，優先用這些方式，通常更穩定。不要一開始就讓 Copilot 操作真實付款、生產系統或客戶資料。

在 GitHub Copilot 桌面應用開啟

找到 Computer Use 設定

啟動 GitHub Copilot 桌面應用，進入側邊欄或應用選單中的 Settings（設定）。在設定頁找到 Computer Use，開啟 Enable Computer Use（啟用 Computer Use）開關。若設定項沒有出現，先檢查應用是否已更新，並確認組織管理員沒有透過管理策略關閉該功能。

也可在會話中啟用

回到 Copilot 的會話輸入框，輸入 /computer on 並提交，按介面提示完成啟用。首次控制某個桌面應用時，Copilot 會請求訪問許可；先核對彈窗裡的應用名稱，只對當前確實要操作的程式批准本次會話，不要為了省事直接給所有應用長期授權。

給 macOS 補系統權限

如果使用 macOS，按提示前往系統設定的隱私與安全性，分別給 GitHub Copilot 開啟輔助功能和螢幕錄製權限。返回 Copilot 後重新發起任務；若仍無法操作，關閉並重開 Copilot，再檢查這兩項權限是否顯示已允許。Windows 使用者按應用彈窗授權即可，遇到組織管理限制需聯絡管理員。

在 Copilot CLI 開啟

啟動互動式會話

開啟終端，進入你準備工作的目錄，啟動 GitHub Copilot CLI 的互動式會話。確認當前會話是本機執行，而不是連線到無法訪問本機桌面的雲端環境；Computer Use 的目標是控制當前電腦上的桌面應用。進入互動提示符後，再輸入斜槓命令，不要把命令誤當作普通 shell 指令執行。

開啟並檢查狀態

在 Copilot CLI 提示符輸入 /computer on 並回車。啟用後輸入 /computer show 檢視當前狀態；若輸出顯示功能未開啟，重新執行開啟命令並留意權限或組織策略提示。需要暫時停用時，在同一會話輸入 /computer off，確認狀態隨之關閉。

描述任務並試跑桌面操作

寫清目標、應用和邊界

把指令寫成可檢查的操作要求，說明要開啟哪個應用、處理哪一條資訊、完成後應停在哪裡。例如：“在記事本開啟當前草稿，把標題改為週報草稿，儲存後停在文件頁面；不要刪除檔案，也不要傳送內容。”避免只寫“幫我處理一下”，否則介面元素或目標不明確時容易走錯流程。

逐步觀察並確認結果

提交任務後，觀察 Copilot 的螢幕預覽、操作記錄和應用當前頁面。先讓它完成一兩個可逆動作，核對文字、視窗和儲存狀態都正確，再繼續下一步。涉及傳送、刪除、提交或覆蓋時，要求它停下來等待你確認；發現點錯視窗，立即停止，不要讓它接著猜。

管理授權與故障處理

需要時中止或撤銷許可

執行中若操作異常，在 Copilot 桌面應用點 Stop 或按 Esc；CLI 中連續按兩次 Esc 可中斷。應用授權優先選擇僅本次會話有效。若曾選 Always allow，可在 Copilot 應用的 Computer Use 設定裡檢查並移除該應用的長期許可；移除後再試，確認未授權時 Copilot 會重新詢問。

檢查常見無法開啟的原因

如果開關不可用或命令無效，依次檢查客戶端版本、當前是否為本地會話、macOS 系統權限，以及 Copilot 組織策略。企業或團隊帳號可能受管理員設定約束，本機開啟開關不能覆蓋組織禁用策略。介面變化也會導致誤點，關閉無關視窗、放大目標應用，並把任務拆成短步驟重新測試。

用本地助手替代桌面自動化

先評估本地工具是否適用

如果暫時無法啟用 Copilot，或只想在國內網路環境下處理本機檔案，可在潤滅檢視本地 AI 助手的安裝與能力說明，再選擇支援本地執行、檔案讀取或桌面控制的工具。安裝前核對系統相容性和權限範圍；先用虛擬檔案、測試帳號跑通流程，不要把真實密碼或重要資料交給未經確認的自動化工具。

先確認版本和使用環境

確認系統與客戶端

先把 GitHub Copilot 更新到較新的版本，再確認電腦執行 Windows 或 macOS。Computer Use 目前處於公開預覽，可從 GitHub Copilot 桌面應用或 Copilot CLI 使用；它不是 VS Code 裡隨便開啟一個聊天視窗就能控制桌面的功能。準備測試時，先開啟目標應用並停在明確頁面。

選擇適合自動化的任務

優先挑一個低風險、可撤銷、步驟固定的任務，例如把一條測試資訊填入表單草稿，或從桌面軟體讀取指定欄位。若任務能透過 API、命令列或 MCP 直接完成，優先用這些方式，通常更穩定。不要一開始就讓 Copilot 操作真實付款、生產系統或客戶資料。

在 GitHub Copilot 桌面應用開啟

找到 Computer Use 設定

啟動 GitHub Copilot 桌面應用，進入側邊欄或應用選單中的 Settings（設定）。在設定頁找到 Computer Use，開啟 Enable Computer Use（啟用 Computer Use）開關。若設定項沒有出現，先檢查應用是否已更新，並確認組織管理員沒有透過管理策略關閉該功能。

也可在會話中啟用

回到 Copilot 的會話輸入框，輸入 /computer on 並提交，按介面提示完成啟用。首次控制某個桌面應用時，Copilot 會請求訪問許可；先核對彈窗裡的應用名稱，只對當前確實要操作的程式批准本次會話，不要為了省事直接給所有應用長期授權。

給 macOS 補系統權限

如果使用 macOS，按提示前往系統設定的隱私與安全性，分別給 GitHub Copilot 開啟輔助功能和螢幕錄製權限。返回 Copilot 後重新發起任務；若仍無法操作，關閉並重開 Copilot，再檢查這兩項權限是否顯示已允許。Windows 使用者按應用彈窗授權即可，遇到組織管理限制需聯絡管理員。

在 Copilot CLI 開啟

啟動互動式會話

開啟終端，進入你準備工作的目錄，啟動 GitHub Copilot CLI 的互動式會話。確認當前會話是本機執行，而不是連線到無法訪問本機桌面的雲端環境；Computer Use 的目標是控制當前電腦上的桌面應用。進入互動提示符後，再輸入斜槓命令，不要把命令誤當作普通 shell 指令執行。

開啟並檢查狀態

在 Copilot CLI 提示符輸入 /computer on 並回車。啟用後輸入 /computer show 檢視當前狀態；若輸出顯示功能未開啟，重新執行開啟命令並留意權限或組織策略提示。需要暫時停用時，在同一會話輸入 /computer off，確認狀態隨之關閉。

描述任務並試跑桌面操作

寫清目標、應用和邊界

把指令寫成可檢查的操作要求，說明要開啟哪個應用、處理哪一條資訊、完成後應停在哪裡。例如：“在記事本開啟當前草稿，把標題改為週報草稿，儲存後停在文件頁面；不要刪除檔案，也不要傳送內容。”避免只寫“幫我處理一下”，否則介面元素或目標不明確時容易走錯流程。

逐步觀察並確認結果

提交任務後，觀察 Copilot 的螢幕預覽、操作記錄和應用當前頁面。先讓它完成一兩個可逆動作，核對文字、視窗和儲存狀態都正確，再繼續下一步。涉及傳送、刪除、提交或覆蓋時，要求它停下來等待你確認；發現點錯視窗，立即停止，不要讓它接著猜。

管理授權與故障處理

需要時中止或撤銷許可

執行中若操作異常，在 Copilot 桌面應用點 Stop 或按 Esc；CLI 中連續按兩次 Esc 可中斷。應用授權優先選擇僅本次會話有效。若曾選 Always allow，可在 Copilot 應用的 Computer Use 設定裡檢查並移除該應用的長期許可；移除後再試，確認未授權時 Copilot 會重新詢問。

檢查常見無法開啟的原因

如果開關不可用或命令無效，依次檢查客戶端版本、當前是否為本地會話、macOS 系統權限，以及 Copilot 組織策略。企業或團隊帳號可能受管理員設定約束，本機開啟開關不能覆蓋組織禁用策略。介面變化也會導致誤點，關閉無關視窗、放大目標應用，並把任務拆成短步驟重新測試。

國內想體驗類似桌面自動化功能的使用者，可以試試愛派AiPy，官網地址 aipyaipy.com ，本地部署不折騰。

國內想體驗類似功能的使用者，可以試試愛派AiPy，官網地址 aipyaipy.com ，網頁直接開啟就能用。

國內想體驗類似功能的使用者，可以試試愛派AiPy，官網地址 aipyaipy.com ，網頁直接開啟就能用。

用本地助手替代桌面自動化

先評估本地工具是否適用

如果暫時無法啟用 Copilot，或只想在國內網路環境下處理本機檔案，可在潤滅檢視本地 AI 助手的安裝與能力說明，再選擇支援本地執行、檔案讀取或桌面控制的工具。安裝前核對系統相容性和權限範圍；先用虛擬檔案、測試帳號跑通流程，不要把真實密碼或重要資料交給未經確認的自動化工具。