开源计算机使用代理基础设施,提供沙箱、SDK和基准测试工具,用于训练和评估能控制完整桌面(macOS、Linux、Windows)的AI代理。
一分钟了解#
Cua是一个开源平台,用于构建、基准测试和部署能够使用任何计算机的AI代理。它提供隔离的、可自托管的沙箱环境(Docker、QEMU、Apple Vz),让AI代理能够自主地与桌面环境交互、点击按钮并完成任务。
核心价值:为AI代理提供完整的计算机控制能力,无需担心安全隔离和环境兼容性问题。
快速上手#
安装难度:中 - 需要Python 3.12或3.13环境,并依赖Docker进行沙箱部署
# 安装Cua代理
pip install cua-agent
# 设置沙箱环境
cua sandbox setup --provider docker --os-type linux
适合我的场景吗?
- ✅ AI研究:当你需要训练和评估计算机使用代理时
- ✅ 开发工具:当你需要构建AI编程助手或自动化测试工具时
- ✅ 跨平台自动化:当你需要在不同操作系统上执行复杂任务时
- ❌ 简单脚本:对于简单的任务自动化,这可能过于复杂
核心能力(可选)#
1. 计算机控制SDK - 跨平台UI自动化#
- 提供统一的API控制不同桌面环境(Windows、macOS、Linux)
- 支持屏幕识别、鼠标点击、键盘输入等基本交互
- 支持文件操作和应用程序启动 实际价值:开发者可以构建真正理解并操作计算机界面的AI代理,而不仅仅是API调用
2. 隔离沙箱环境 - 安全执行环境#
- 支持Docker、QEMU和Apple Vz多种虚拟化技术
- 提供与宿主机隔离的计算环境
- 确保代理操作的安全性和可重复性 实际价值:安全地运行AI代理,不用担心对主系统造成影响,同时保证测试环境的一致性
3. Cua-Bench基准测试 - 性能评估平台#
- 提供OSWorld、ScreenSpot、Windows Arena等标准测试集
- 支持强化学习训练环境和轨迹导出
- 可自定义评估任务和指标 实际价值:客观评估和比较不同计算机使用代理的性能,推动领域发展
4. Lume虚拟化 - macOS/Linux高性能虚拟化#
- 在Apple Silicon上实现接近原生的macOS/Linux虚拟机性能
- 使用Apple Virtualization.Framework技术
- 提供Docker兼容的接口 实际价值:在CI/CD、测试和代理工作负载中获得接近原生的性能,无需额外硬件
技术栈与集成#
开发语言:Python, Swift, HTML, TypeScript, Shell, Jupyter Notebook 主要依赖:需要Docker环境,支持多种虚拟化技术(QEMU、Apple Vz) 集成方式:SDK / API
维护状态#
- 开发活跃度:活跃维护,每周多次提交
- 最近更新:近期有新版本发布
- 社区响应:活跃的社区支持,通过Discord和GitHub Issues进行交流
商用与许可#
许可证:MIT
- ✅ 商用:允许
- ✅ 修改:允许
- ⚠️ 限制:需要包含原始许可证和版权声明
文档与学习资源#
- 文档质量:全面
- 官方文档:https://cua.ai/docs
- 示例代码:有丰富的示例代码库