SeeAct 是一个基于大型多模态模型（如 GPT-4V）的通用网页智能代理系统，能够自主在任何网站上执行任务。它包含一个稳健的代码库和创新的框架，支持在实时网站上运行网页智能代理。
一分钟了解#
SeeAct 是一个能够自主在网页上执行任务的智能代理系统，它利用大型多模态模型（如 GPT-4V）理解网页内容并做出操作决策。该系统适合研究人员和开发者测试网页自动化能力，以及构建需要与网页交互的应用。您应该选择 SeeAct 如果您需要让 AI 代理能够自主浏览网页并执行复杂任务。
核心价值：将先进的多模态 AI 能力与网页操作结合，实现真正的网页自动化任务执行
快速上手#
安装难度：中 - 需要安装依赖项并设置 API 密钥
# 创建环境并安装
conda create -n seeact python=3.11
conda activate seeact
pip install seeact
适合我的场景吗？
- ✅ 网页任务自动化：自动执行网页上的重复性任务，如数据收集、表单填写
- ✅ 网页功能测试：自动化测试网页功能和应用
- ❌ 需要账号登录的任务：出于安全考虑，不支持直接登录操作
- ❌ 高实时性要求的任务：需要人工监控每一步操作以确保安全
核心能力#
1. 多模态理解能力 - 理解网页视觉和文本内容#
SeeAct 能够同时理解网页的视觉内容和 HTML 文本，结合两种信息做出更准确的决策。 实际价值：即使在没有明确文本标签的复杂网页上也能找到正确操作目标
2. 灵活的执行模式 - 适应不同使用场景#
提供演示模式、自动模式和爬虫模式，满足从交互式探索到批量执行的各种需求。 实际价值：无论是研究测试还是批量处理，都有合适的运行模式
3. 人类监控机制 - 确保操作安全#
默认启用监控模式，每一步操作前都需要人工确认，可接受、拒绝或手动干预。 实际价值：防止 AI 代理执行可能有害的操作，确保任务在安全范围内进行
4. 多模型支持 - 兼容不同的 AI 模型#
支持 OpenAI 的 GPT-4V、GPT-4-turbo、GPT-4o，以及 Google 的 Gemini 和 LLaVA 等模型。 实际价值：可根据需求选择最适合的模型，平衡性能和成本
5. 任务数据集 - 提供丰富的测试场景#
附带 Multimodal-Mind2Web 数据集，包含多种网站的真实任务和对应的网页截图。 实际价值：无需从零开始收集测试数据，可直接评估系统性能
技术栈与集成#
开发语言：Python 主要依赖：Playwright（浏览器自动化）、OpenAI API、Google AI API 集成方式：Python 库（可通过 pip 安装）
维护状态#
- 开发活跃度：高 - 项目持续更新，频繁添加新功能和支持新模型
- 最近更新：近期添加了 Chrome 扩展源码、爬虫模式、SoM 策略等新功能
- 社区响应：活跃 - 有多个学术论文发表和社区支持
商用与许可#
许可证：OPEN RAIL（负责任的 AI 许可证）
- ✅ 商用：允许（需遵守 RAIL 许可证限制）
- ✅ 修改：允许
- ⚠️ 限制：需署名，仅限研究使用，禁止有害用途
文档与学习资源#
- 文档质量：全面
- 官方文档：包含在 README 中，有详细的安装和使用说明
- 示例代码：提供了基本用法和配置示例