指南：三步跑通第一個會操作屏幕的 AI 代理)
Cua 計算機使用代理實戰(zhàn)指南三步跑通第一個會操作屏幕的 AI 代理【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cuaCua 是一個開源的 Computer-Use AgentCUA框架通俗說就是給 AI 發(fā)一臺看得見的電腦——它能看到屏幕、移動鼠標、敲鍵盤替你操作桌面應用。適合想給 AI 配上動手能力的開發(fā)者。和只調 API 的方案不同Cua 自帶跨操作系統(tǒng)的沙盒、macOS 虛擬化和一套評測基準開箱即是一整條鏈路。它替你解決什么想象兩個場景一是你寫了一個 AI 代理它很會推理但讓它幫我打開瀏覽器查個東西就卡住了——它沒有眼睛也碰不到鼠標。二是你確實有屏幕和鼠標了但代理一執(zhí)行就動你自己的電腦點錯一個地方可能把正在寫的內容全丟了你敢嗎Cua 就是為這兩個問題準備的它把屏幕 輸入設備 執(zhí)行環(huán)境打包成一個隔離沙盒sandbox即一次性、用完即毀的隔離環(huán)境代理在沙盒里隨便折騰搞砸了也不影響你的主機。同一套 Python API底下可以是 Linux 容器、Linux/macOS/Windows/Android 虛擬機本地跑或云端跑都行。最短路徑跑起來環(huán)境要求一句話Python 3.12 或 3.13本地模式還需要 QEMULinux 容器/VM 走的就是它。第一步安裝統(tǒng)一 SDK一個包里聚合了沙盒、代理和 CLIpip install cua裝完你手里就有了三樣東西Sandbox管沙盒、ComputerAgent驅動代理的 LLM 循環(huán)、cua命令行管沙盒和鏡像。如果你要的是在 Apple 芯片 Mac 上開一臺 macOS 虛擬機這條線另裝 Lume把倉庫克隆下來后運行倉庫里的安裝腳本即可腳本拒絕 sudo默認裝到~/.local/bingit clone https://gitcode.com/GitHub_Trending/cua/cua /bin/bash cua/libs/lume/scripts/install.sh # 安裝 Lume 到用戶目錄無需 root lume --version # 驗證裝上了哪個版本第一個完整場景讓代理自己上網(wǎng)下面這段代碼是最小但完整的端到端演示開一個一次性 Linux 沙盒把代理塞進去丟一句話任務看它自己完成。import asyncio from cua import Sandbox, Image, ComputerAgent async def main(): # localTrue用本地 QEMU 跑不依賴云端 async with Sandbox.ephemeral(Image.linux(), localTrue) as sb: agent ComputerAgent(modelanthropic/claude-sonnet-4-5, tools[sb]) async for response in agent.run(Open the browser and go to example.com): print(response) # 逐步打印代理的每一步動作和結果 asyncio.run(main())輸入就是那一句自然語言任務預期輸出是代理一連串動作截屏 → 決定點哪 → 點擊瀏覽器圖標 → 等待加載 → 輸入地址 → 驗證頁面。背后發(fā)生的事很簡單每一輪代理都會拿沙盒的截屏當視覺輸入模型輸出下一步鼠標/鍵盤動作沙盒執(zhí)行后再截屏循環(huán)直到任務完成。你不需要自己寫任何坐標計算。邊界與玩法跑通第一個場景后這套東西的玩法遠不止在容器里點點點在真機上后臺操作——如果你想讓代理操作你自己 Mac 或 Windows 上的原生應用又不想它搶走你的鼠標焦點搭配 cua-driver。它在后臺驅動桌面應用同一套 CLI 和 MCP 服務器覆蓋 macOS、Windows、Linux可以接進 Claude Code、Cursor 這類編碼代理。本地開 macOS 虛擬機——云端跑 macOS 嫌貴或者不放心時搭配 Lume 在 Apple Silicon 上用系統(tǒng)自帶虛擬化框架開 macOS/Linux VM接近原生性能lume create macos-tahoe \ --ipsw ~/Downloads/macos-tahoe.ipsw \ --unattended tahoe # 無人值守模式自動建用戶、開 SSH、禁鎖屏 lume run macos-tahoe # 啟動虛擬機SSH 賬號默認 lume/lume給模型打分和造數(shù)據(jù)——你在訓練或評測計算機使用模型時搭配 Cua-Benchlibs/cua-bench/它內置 OSWorld、ScreenSpot 等基準任務跑完還能導出軌跡trajectory即截屏動作序列直接喂給訓練管線。需要規(guī)模化時沙盒可以按池子pool管理倉庫里有現(xiàn)成的 Terraform 配方docs/content/docs/how-to-guides/sandbox/configure-pool-with-terraform.mdx。新手常踩的坑坑一pip install cua裝不上報Could not find a version that satisfies the requirement。十有八九是 Python 版本太舊。cua主包要求 Python 3.12 或 3.13如果你只能用 3.11單獨裝cua-sandbox可以先跑沙盒部分代理包暫時裝不了。坑二Lume 安裝腳本直接退出提示Do not run this script with sudo or as root。這是腳本故意拒絕 root——它默認裝到用戶目錄~/.local/bin不需要也不應該用 sudo。去掉 sudo 重新執(zhí)行即可?？尤a跑起來了但代理第一步就拋模型相關的連接錯誤。ComputerAgent只是殼真正干活的是你指定的 LLM 后端OpenAI/Anthropic/Gemini 等API key 沒配或網(wǎng)絡不通都會在這一步爆出來。先確認環(huán)境變量里的 key 有效再回來懷疑沙盒能省一半排查時間。下一步建議先花十分鐘把第一個完整場景那段代碼跑完一遍——看到代理自己點完瀏覽器的那一刻你才算真正摸到 Computer-Use 的門道。然后按自己的方向選一條支線深入真機操作看 cua-driver 文檔macOS 虛擬機看 Lume 使用教程?！久赓M下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 Cua 計算機使用代理實戰(zhàn)指南：三步跑通第一個會操作屏幕的 AI 代理
Cua 計算機使用代理實戰(zhàn)指南三步跑通第一個會操作屏幕的 AI 代理【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cuaCua 是一個開源的 Computer-Use AgentCUA框架通俗說就是給 AI 發(fā)一臺看得見的電腦——它能看到屏幕、移動鼠標、敲鍵盤替你操作桌面應用。適合想給 AI 配上動手能力的開發(fā)者。和只調 API 的方案不同Cua 自帶跨操作系統(tǒng)的沙盒、macOS 虛擬化和一套評測基準開箱即是一整條鏈路。它替你解決什么想象兩個場景一是你寫了一個 AI 代理它很會推理但讓它幫我打開瀏覽器查個東西就卡住了——它沒有眼睛也碰不到鼠標。二是你確實有屏幕和鼠標了但代理一執(zhí)行就動你自己的電腦點錯一個地方可能把正在寫的內容全丟了你敢嗎Cua 就是為這兩個問題準備的它把屏幕 輸入設備 執(zhí)行環(huán)境打包成一個隔離沙盒sandbox即一次性、用完即毀的隔離環(huán)境代理在沙盒里隨便折騰搞砸了也不影響你的主機。同一套 Python API底下可以是 Linux 容器、Linux/macOS/Windows/Android 虛擬機本地跑或云端跑都行。最短路徑跑起來環(huán)境要求一句話Python 3.12 或 3.13本地模式還需要 QEMULinux 容器/VM 走的就是它。第一步安裝統(tǒng)一 SDK一個包里聚合了沙盒、代理和 CLIpip install cua裝完你手里就有了三樣東西Sandbox管沙盒、ComputerAgent驅動代理的 LLM 循環(huán)、cua命令行管沙盒和鏡像。如果你要的是在 Apple 芯片 Mac 上開一臺 macOS 虛擬機這條線另裝 Lume把倉庫克隆下來后運行倉庫里的安裝腳本即可腳本拒絕 sudo默認裝到~/.local/bingit clone https://gitcode.com/GitHub_Trending/cua/cua /bin/bash cua/libs/lume/scripts/install.sh # 安裝 Lume 到用戶目錄無需 root lume --version # 驗證裝上了哪個版本第一個完整場景讓代理自己上網(wǎng)下面這段代碼是最小但完整的端到端演示開一個一次性 Linux 沙盒把代理塞進去丟一句話任務看它自己完成。import asyncio from cua import Sandbox, Image, ComputerAgent async def main(): # localTrue用本地 QEMU 跑不依賴云端 async with Sandbox.ephemeral(Image.linux(), localTrue) as sb: agent ComputerAgent(modelanthropic/claude-sonnet-4-5, tools[sb]) async for response in agent.run(Open the browser and go to example.com): print(response) # 逐步打印代理的每一步動作和結果 asyncio.run(main())輸入就是那一句自然語言任務預期輸出是代理一連串動作截屏 → 決定點哪 → 點擊瀏覽器圖標 → 等待加載 → 輸入地址 → 驗證頁面。背后發(fā)生的事很簡單每一輪代理都會拿沙盒的截屏當視覺輸入模型輸出下一步鼠標/鍵盤動作沙盒執(zhí)行后再截屏循環(huán)直到任務完成。你不需要自己寫任何坐標計算。邊界與玩法跑通第一個場景后這套東西的玩法遠不止在容器里點點點在真機上后臺操作——如果你想讓代理操作你自己 Mac 或 Windows 上的原生應用又不想它搶走你的鼠標焦點搭配 cua-driver。它在后臺驅動桌面應用同一套 CLI 和 MCP 服務器覆蓋 macOS、Windows、Linux可以接進 Claude Code、Cursor 這類編碼代理。本地開 macOS 虛擬機——云端跑 macOS 嫌貴或者不放心時搭配 Lume 在 Apple Silicon 上用系統(tǒng)自帶虛擬化框架開 macOS/Linux VM接近原生性能lume create macos-tahoe \ --ipsw ~/Downloads/macos-tahoe.ipsw \ --unattended tahoe # 無人值守模式自動建用戶、開 SSH、禁鎖屏 lume run macos-tahoe # 啟動虛擬機SSH 賬號默認 lume/lume給模型打分和造數(shù)據(jù)——你在訓練或評測計算機使用模型時搭配 Cua-Benchlibs/cua-bench/它內置 OSWorld、ScreenSpot 等基準任務跑完還能導出軌跡trajectory即截屏動作序列直接喂給訓練管線。需要規(guī)模化時沙盒可以按池子pool管理倉庫里有現(xiàn)成的 Terraform 配方docs/content/docs/how-to-guides/sandbox/configure-pool-with-terraform.mdx。新手常踩的坑坑一pip install cua裝不上報Could not find a version that satisfies the requirement。十有八九是 Python 版本太舊。cua主包要求 Python 3.12 或 3.13如果你只能用 3.11單獨裝cua-sandbox可以先跑沙盒部分代理包暫時裝不了。坑二Lume 安裝腳本直接退出提示Do not run this script with sudo or as root。這是腳本故意拒絕 root——它默認裝到用戶目錄~/.local/bin不需要也不應該用 sudo。去掉 sudo 重新執(zhí)行即可?？尤a跑起來了但代理第一步就拋模型相關的連接錯誤。ComputerAgent只是殼真正干活的是你指定的 LLM 后端OpenAI/Anthropic/Gemini 等API key 沒配或網(wǎng)絡不通都會在這一步爆出來。先確認環(huán)境變量里的 key 有效再回來懷疑沙盒能省一半排查時間。下一步建議先花十分鐘把第一個完整場景那段代碼跑完一遍——看到代理自己點完瀏覽器的那一刻你才算真正摸到 Computer-Use 的門道。然后按自己的方向選一條支線深入真機操作看 cua-driver 文檔macOS 虛擬機看 Lume 使用教程?！久赓M下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考