端侧全功能离线 AI 套件,覆盖文本生成、图像生成、视觉问答、语音转文字四大模态,支持端侧 RAG 知识库与 Tool Calling,所有推理在设备本地完成。
Off Grid 是一款基于 React Native 构建的跨平台(iOS / Android / Mac Catalyst)移动端离线 AI 应用,所有推理在设备本地完成,零数据离开设备。
文本生成#
支持任意 GGUF 模型(Qwen 3、Llama 3.2、Gemma 3、Phi-4 等),具备流式输出、思考模式和 Markdown 渲染能力,旗舰设备可达 15–30 tok/s,并支持用户自带 .gguf 文件。
图像生成#
集成端侧 Stable Diffusion 推理引擎,Android 端通过 Snapdragon NPU 加速(5–10s/张),iOS 端通过 Core ML 加速,内置 20+ 模型(Absolute Reality、DreamShaper、Anything V5 等),并提供 AI Prompt 增强功能。
Vision AI(视觉问答)#
支持摄像头实时 VQA,搭载 SmolVLM / Qwen3-VL / Gemma 3n 等视觉语言模型,适用于文档分析、场景描述、票据识别,旗舰设备响应约 7s。
语音输入#
端侧 Whisper 语音转文字,按住录音自动转录,音频不离开设备。
Tool Calling(函数调用)#
支持函数调用的模型可调用内置工具:网页搜索、计算器、日期时间、设备信息、知识库搜索,含自动工具循环与溢出保护。
端侧 RAG 知识库#
上传 PDF/文本文档,使用 MiniLM 端侧 Embedding,SQLite 存储,余弦相似度检索。
文档分析#
对话中附加 PDF、代码文件、CSV 等,双平台原生 PDF 文本提取。
远程 LLM 服务器连接#
连接局域网内 OpenAI 兼容服务器(Ollama、LM Studio、LocalAI),自动发现模型、SSE 流式响应、Keychain 安全存储 API Key,本地/远程模型无缝切换。
架构要点#
- 前端:React Native(TypeScript 93.5%)
- Android 原生层:Kotlin — llama.cpp / whisper.cpp / Stable Diffusion 原生模块集成
- iOS 原生层:Swift — CoreML Diffusion、PDFExtractor、DownloadManager 等
- RN 桥接:llama.rn、whisper.rn、op-sqlite
- 图像生成后端:local-dream、ml-stable-diffusion、MNN
- 硬件加速:Snapdragon NPU(Android)、Core ML(iOS)
- CI/CD:GitHub Actions + SonarQube + Codecov
- E2E 测试:Maestro
安装部署#
- Android:Google Play Store 或 GitHub Releases APK
- iOS:App Store(亦可通过 Mac Catalyst 在 Apple Silicon Mac 上运行)
- 源码构建:Node.js 20+、JDK 17 / Android SDK 36、Xcode 15+
项目采用 MIT 许可证,拥有 7 位贡献者、79 个 Release、1,489+ commits。