OmniRoute

OmniRoute 是一个功能全面的 AI Gateway，核心价值在于将碎片化的多提供商接入收敛为单一 OpenAI 兼容端点。它支持 13 种负载均衡策略和 4 层自动回退链（Subscription → API Key → Cheap → Free），通过 AutoCombo Engine 的 6 因素评分（延迟、成本、配额、健康、能力、多样性）自动构建最优 provider 组合。

智能路由

• 13 种平衡策略：Priority、Round-Robin、Least-Latency、Cost-Aware、Shannon Entropy 多样性等
• Context Relay：账户轮换时通过结构化 handoff 摘要保持会话连续性
• Adaptive Routing：基于 token 量和 prompt 复杂度的动态策略覆盖
• Wildcard Router：provider/* 动态路由

多模态 API 覆盖 除 Chat Completions（/v1/chat/completions）外，统一代理 11 类 API：

• Responses API（/v1/responses，兼容 Codex 等 agentic 工作流）
• Embeddings（/v1/embeddings）
• Image Generation（/v1/images/generations）
• Audio Transcription（/v1/audio/transcriptions，7 个 provider）
• Text-to-Speech（/v1/audio/speech，10 个 provider）
• Video Generation（/v1/videos/generations，ComfyUI + SD WebUI）
• Music Generation（/v1/music/generations）
• Reranking（/v1/rerank）、Moderations（/v1/moderations）
• Web Search（/v1/search，5 个 provider：Serper、Brave、Perplexity、Exa、Tavily）
• WebSocket Bridge（/v1/ws，OpenAI 兼容流式代理）

Agent 协议支持

• MCP Server：25 个工具（18 核心 + 3 记忆 + 4 技能），支持 stdio、SSE、Streamable HTTP 三种传输
• A2A Server：JSON-RPC 2.0 + SSE，Agent-to-Agent 任务执行
• ACP Support：CLI agent 发现，支持 Codex、Claude、Goose、Gemini CLI、OpenClaw 等 14+ agent

格式翻译 OpenAI ↔ Claude ↔ Gemini ↔ Responses API 的 schema-safe 自动转换。

韧性与安全

• 每模型独立熔断器、防惊群（mutex + semaphore）
• Semantic + Signature 双层缓存、幂等去重
• TLS 指纹模拟、CLI 请求签名匹配
• IP 白名单/黑名单、SSRF 防护、API Key 作用域与模型过滤
• 冷却感知自动重试、Zod 环境校验、审计日志

可观测性

• p50/p95/p99 延迟遥测、TPS 指标
• 成本追踪与预算控制、使用量分析可视化
• 健康仪表盘（运行时间、熔断器状态、缓存统计）
• 内置 Evaluation Framework（Golden Set 测试）

部署方式

• NPM：npm install -g omniroute && omniroute
• Docker：docker run -d -p 20128:20128 -v omniroute-data:/app/data diegosouzapw/omniroute:latest
• 源码运行、Electron 桌面应用（Windows/macOS/Linux）
• 云部署支持 Fly.io、Cloudflare Tunnel、Caddy HTTPS
• Dashboard 支持 30+ 语言，默认端口 20128

典型场景

• 零成本编码：组合 11+ 免费 provider（Kiro/Qoder/Qwen/Gemini CLI/NVIDIA NIM/Cerebras/Groq 等）
• 最大化订阅价值：Claude Code/Codex/Gemini CLI 订阅 + 低价备份
• 24/7 关键工作负载：5 层深度回退链保障
• 多 IDE/CLI 统一接入：兼容 Claude Code、Codex CLI、Gemini CLI、Cursor、Cline 等

项目基于 TypeScript（96.7%）+ Next.js + SQLite（WAL 模式）构建，MIT 许可，活跃开发中（1,972 commits、251 tags、218 releases、89 contributors），前身 Fork 自 9router。