面向 macOS Apple Silicon 的端侧全链路语音 AI 命令行工具，本地集成 STT、LLM、TTS、VLM 与 RAG，无需云端与 API Key，端到端延迟低于 200ms。
RCLI 是由 RunAnywhere, Inc.（Y Combinator 背书）开发的端侧语音 AI 命令行工具，专为 macOS Apple Silicon 设计。核心亮点在于将语音活动检测（Silero VAD）、流式/离线语音识别（Zipformer、Whisper、Parakeet）、小参数大语言模型推理（Qwen3、LFM2 等，含 KV Cache 续接与 Flash Attention）、双缓冲语音合成以及视觉语言模型（Qwen3 VL、SmolVLM 等）统一整合为本地运行的管道，端到端延迟低于 200ms。
项目采用双引擎推理架构：自研 MetalRT 引擎通过手写 Metal Shading Language kernel、算子融合与统一内存优化，在 M4 Max 上实现 LLM 解码 668 tok/s、STT 延迟 101ms 的极致性能（需 M3+ 及 Metal 3.1）；M1/M2 芯片自动回退至 llama.cpp。VLM 当前统一走 llama.cpp 引擎，MetalRT VLM 支持即将推出。
除语音对话外，RCLI 还提供本地 RAG 文档问答（混合向量 + BM25 检索，5K+ chunk 约 4ms 延迟）、40 项预置 macOS 语音动作（通过 AppleScript/Shell 执行）以及交互式 TUI 界面（含 Push-to-Talk、硬件监控、模型管理等）。全部推理在本地完成，无数据上传，适用于隐私敏感场景。本体以 MIT 协议开源，MetalRT 引擎为专有许可。最新版本 v0.3.7。
安装方式
curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.sh | bash
或通过 Homebrew：
brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.git
brew install rcli
rcli setup
快速使用
rcli # 交互式 TUI
rcli listen # 持续语音模式
rcli ask "open Safari" # 单次命令
rcli vlm photo.jpg "what's in this image?"
rcli camera # 摄像头 VLM
rcli screen # 屏幕截图 VLM
rcli rag ingest ~/Documents/notes
默认模型集（~1GB）：LFM2 1.2B (LLM) + Whisper base.en (STT) + Piper (TTS) + Silero VAD + Snowflake Embeddings
主要命令：rcli models（模型管理）、rcli voices（TTS 语音切换）、rcli metalrt install/status（MetalRT 引擎管理）、rcli llamacpp（llama.cpp 引擎管理）、rcli actions（查看 40 个 macOS 动作）、rcli cleanup（清理未使用模型）。