AutoDroid是一个基于大语言模型的智能手机任务自动化系统,通过将LLM与Android设备结合,实现复杂移动应用的自动化任务执行。
一分钟了解#
AutoDroid是一个创新的系统,它将大语言模型(LLM)与智能手机交互能力相结合,使AI能够自动执行移动应用中的复杂任务。这个项目面向移动自动化研究员、应用测试人员和AI开发者,特别适合需要自动化执行重复性移动任务或测试Android应用功能的场景。
核心价值:通过大语言模型理解并执行智能手机应用任务,实现移动应用自动化操作
快速上手#
安装难度:中 - 需要配置Android开发环境和多个依赖项
# 安装步骤
git clone git@github.com:MobileLLM/AutoDroid.git
cd AutoDroid/
pip install -e .
适合我的场景吗?
- ✅ Android应用自动化测试:可自动执行重复性测试任务,提高测试效率
- ✅ 移动应用研究:可用于研究用户行为和应用交互模式
- ✅ 智能手机任务自动化:通过LLM理解并执行复杂的移动应用任务
- ❌ 纯端上解决方案:需要连接到主机通过adb控制,不是独立的设备解决方案
- ❌ 生产环境部署:目前仅用于研究目的,可能执行预期外的操作
核心能力#
1. 智能任务理解与执行#
AutoDroid利用GPT API理解任务描述,并将其转化为可在Android应用上执行的具体操作步骤。 实际价值:使AI能够理解抽象任务描述并自动转化为移动设备上的具体交互操作
2. 应用状态分析#
系统通过截图和UI层次结构分析理解当前应用状态,为LLM提供上下文信息。 实际价值:使AI能够"看见"并理解应用的当前界面状态,做出准确的操作决策
3. 自动化任务执行#
基于DroidBot框架,实现应用的自动启动、导航和交互。 实际价值:无需人工干预即可完成复杂应用操作流程,提高自动化效率
技术栈与集成#
开发语言:Python, Java 主要依赖:DroidBot框架, GPT API 集成方式:API / 工具包 / 框架
维护状态#
- 开发活跃度:研究项目,有明确的贡献指南但更新频率未明确
- 最近更新:基于发布时间,为近期发布的研究项目
- 社区响应:欢迎社区贡献,但商业支持有限
商用与许可#
许可证:未知
- ⚠️ 研究目的:当前仅用于研究目的,可能执行 unintended actions
- ⚠️ 使用风险:请自行承担使用风险,可能会修改您的账户/设置
文档与学习资源#
- 文档质量:基础 - 包含安装和使用说明,但详细度有限
- 官方文档:GitHub仓库
- 示例代码:包含脚本示例和任务定义示例