发现 AI 代理的未来arrow_forward

AutoDroid - 让大模型使用智能手机实现智能任务自动化

calendar_today收录于 2026年1月25日
category智能体与应用工具
code开源
Python工作流自动化大语言模型AI代理智能体与应用工具自动化/工作流/RPA模型训练/推理

AutoDroid是一个基于大语言模型的智能手机任务自动化系统,通过将LLM与Android设备结合,实现复杂移动应用的自动化任务执行。

一分钟了解#

AutoDroid是一个创新的系统,它将大语言模型(LLM)与智能手机交互能力相结合,使AI能够自动执行移动应用中的复杂任务。这个项目面向移动自动化研究员、应用测试人员和AI开发者,特别适合需要自动化执行重复性移动任务或测试Android应用功能的场景。

核心价值:通过大语言模型理解并执行智能手机应用任务,实现移动应用自动化操作

快速上手#

安装难度:中 - 需要配置Android开发环境和多个依赖项

# 安装步骤
git clone git@github.com:MobileLLM/AutoDroid.git
cd AutoDroid/
pip install -e .

适合我的场景吗?

  • Android应用自动化测试:可自动执行重复性测试任务,提高测试效率
  • 移动应用研究:可用于研究用户行为和应用交互模式
  • 智能手机任务自动化:通过LLM理解并执行复杂的移动应用任务
  • 纯端上解决方案:需要连接到主机通过adb控制,不是独立的设备解决方案
  • 生产环境部署:目前仅用于研究目的,可能执行预期外的操作

核心能力#

1. 智能任务理解与执行#

AutoDroid利用GPT API理解任务描述,并将其转化为可在Android应用上执行的具体操作步骤。 实际价值:使AI能够理解抽象任务描述并自动转化为移动设备上的具体交互操作

2. 应用状态分析#

系统通过截图和UI层次结构分析理解当前应用状态,为LLM提供上下文信息。 实际价值:使AI能够"看见"并理解应用的当前界面状态,做出准确的操作决策

3. 自动化任务执行#

基于DroidBot框架,实现应用的自动启动、导航和交互。 实际价值:无需人工干预即可完成复杂应用操作流程,提高自动化效率

技术栈与集成#

开发语言:Python, Java 主要依赖:DroidBot框架, GPT API 集成方式:API / 工具包 / 框架

维护状态#

  • 开发活跃度:研究项目,有明确的贡献指南但更新频率未明确
  • 最近更新:基于发布时间,为近期发布的研究项目
  • 社区响应:欢迎社区贡献,但商业支持有限

商用与许可#

许可证:未知

  • ⚠️ 研究目的:当前仅用于研究目的,可能执行 unintended actions
  • ⚠️ 使用风险:请自行承担使用风险,可能会修改您的账户/设置

文档与学习资源#

  • 文档质量:基础 - 包含安装和使用说明,但详细度有限
  • 官方文档GitHub仓库
  • 示例代码:包含脚本示例和任务定义示例

保持更新

获取最新的 AI 工具和趋势,直接发送到您的收件箱。没有垃圾邮件,只有智能。

rocket_launch