发现 AI 代理的未来arrow_forward

Ferro Labs AI Gateway

calendar_today收录于 2026年4月24日
category智能体与应用工具
code开源
Docker大语言模型MCPGoCLI智能体与应用工具模型与推理框架模型训练/推理协议/API/集成

高性能 AI 网关,单一 OpenAI 兼容 API 路由至 29 个提供商 2,500+ 模型,内置 8 种路由策略、MCP 工具代理与完整可观测性。

Ferro Labs AI Gateway 是一个 Go 语言编写的单二进制高性能 AI 网关,当前版本 v1.0.3。它对外暴露统一的 OpenAI 兼容 API,内部支持 29 个 LLM 提供商(OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure OpenAI、Vertex AI、DeepSeek、Mistral、Groq、Ollama 等),覆盖 2,500+ 模型。

路由引擎提供 8 种策略(single、fallback、loadbalance、least-latency、cost-optimized、content-based、ab-test、conditional),支持模型别名映射与可配置重试。插件体系涵盖词汇过滤、Token/消息限制、响应缓存、速率限制、预算控制、请求日志六大内置插件。MCP 集成实现网关侧 tool-call 自动循环,遵循 MCP 2025-11-25 Streamable HTTP 规范,支持多服务器接入与工具去重。

可观测性方面提供 Prometheus 指标、深度健康检查、Admin API、内置 Dashboard UI 及 HTTP 连接追踪。性能方面,官方基准显示 1,000 并发下达 13,925 RPS、p50 延迟 68.1ms,裸代理开销仅 2μs。

部署形态包括预编译二进制(Linux/macOS/Windows)、Docker 镜像、Go install 及 Kubernetes Helm Chart,持久化后端支持内存/SQLite/PostgreSQL 三档。同时可作为 Go HTTP handler 嵌入已有服务。开源协议为 Apache-2.0。官方定位为 LiteLLM 的高性能替代方案,声称 14x 吞吐量提升与 23x 内存节省(该数据未经第三方验证)。

待确认:团队背景未公开;Managed Cloud 上线时间未定;2,500+ 模型数量缺少独立清单核实;无公开生产部署案例;LiteLLM 对标数据缺少第三方复测。

保持更新

获取最新的 AI 工具和趋势,直接发送到您的收件箱。没有垃圾邮件,只有智能。

rocket_launch