面向 AI Agent 的下一代代理网关,统一 LLM 接入、MCP 工具联邦与 A2A Agent 间通信。
agentgateway 是 Linux Foundation 旗下的开源项目,定位为 AI Agent 基础设施的连接层,提供五大核心能力:
LLM 网关 — 通过统一 OpenAI 兼容 API 接入 OpenAI、Anthropic、Gemini、Bedrock 等主流提供商,内置负载均衡、故障转移、预算管控与 Prompt 注入。
MCP 网关 — 基于 Model Context Protocol 实现工具联邦,支持 stdio / HTTP / SSE / Streamable HTTP 多种传输,集成 OpenAPI 与 OAuth 认证,将分散的 MCP Server 统一安全暴露给 LLM。
A2A 网关 — 基于 Google A2A 协议实现 Agent 间安全通信,支持能力发现、模态协商与任务协作。
推理路由 — 作为 Kubernetes Inference Gateway 扩展,根据 GPU 利用率、KV cache、LoRA 适配器、队列深度等指标智能路由至自托管模型。
安全与治理 — 多层 Guardrails(regex / OpenAI Moderation / Bedrock Guardrails / Model Armor / 自定义 webhook)、基于 CEL 的细粒度 RBAC 策略引擎、JWT / API Key / OAuth 认证、速率限制与 TLS,搭配 OpenTelemetry 全链路可观测性。
架构上采用 Rust 数据面 + Go 控制面 + TypeScript UI 的多语言分层设计,支持三层配置体系(Static / Local / XDS),资源关系采用"子指向父"设计优化增量更新。支持独立部署与 Kubernetes 部署两种模式,内置 Web UI Playground 用于调试探索。跨平台支持 Linux / macOS / Windows。
安装与快速开始#
curl -sL https://agentgateway.dev/install | bash
最小 LLM 代理示例:
export OPENAI_API_KEY='<your-api-key>'
cat > config.yaml << 'EOF'
llm:
models:
- name: gpt-3.5-turbo
provider: openAI
params:
model: gpt-3.5-turbo
apiKey: "$OPENAI_API_KEY"
EOF
agentgateway -f config.yaml
# UI: http://localhost:15000/ui
# Proxy: http://localhost:4000
curl -s http://localhost:4000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Say hello in one sentence."}]}'
待确认信息#
- 创立时间/首次提交:README 与文档中未明确标注
- A2A 支持的具体规范版本号未在文档中说明
- Inference Routing 的 K8s 集成方式描述为"extensions",具体实现细节待进一步确认
- MCP 协议支持的具体版本号待确认
- 性能基准数据(延迟、吞吐量)未在公开材料中发现