面向 AI Agent 的开源编排与优化工具库,以框架无关方式统一连接、观测和调优多 Agent 协作系统,支持 MCP/A2A 协议、全链路 Profiling、离线评估与 RL 微调。
NVIDIA NeMo Agent Toolkit(PyPI 包名 nvidia-nat)是 NVIDIA 发布的 Agentic 系统元编排层,核心设计理念是框架无关。它不替代 LangChain、CrewAI、AutoGen 等框架,而是在其之上提供统一的工作流定义、协议桥接和性能优化能力。
工作流引擎以 YAML 声明式配置驱动,通过 functions、llms、workflow 三段式结构定义 Agent 行为,内置 ReAct Agent 等工作流类型,并支持 Agent/工具/工作流的组件复用。
协议层面,NAT 同时支持 MCP(可作为 Client 消费远程工具或作为 Server/FastMCP Server 发布工具)和 A2A(可作为 Client 委托任务或作为 Server 发布可发现的 Agent,支持认证),实现了工具与 Agent 的双向互联。
可观测性方面,提供从工作流级到 Token 级的全链路 Profiling,原生集成 LangSmith,并支持 Phoenix、Weave、Langfuse、OpenTelemetry。Dynamo Runtime Intelligence 模块可自动推断延迟敏感度,实现缓存控制、负载感知路由和优先级感知调度。
评估与优化体系涵盖离线评估系统、超参数与 Prompt 自动优化器、针对特定 Agent 的强化学习微调,以及框架无关的 Agent Performance Primitives(APP),支持并行执行、推测分支和节点级优先级路由。
采用 Monorepo 结构,packages/ 下按功能拆分为独立子包,使用 uv 管理依赖,通过 extras 实现按需安装。支持 Docker 容器化部署,CLI 入口为 nat run。安全方面内置 PII 防护及 MCP/A2A 认证机制。
安装方式:
pip install nvidia-nat # 核心包
pip install "nvidia-nat[langchain]" # 带框架插件
pip install "nvidia-nat[most]" # 全部可选依赖
环境要求:Python ≥ 3.11, < 3.14。最新版本 v1.6.0,开发分支 develop(1,262+ commits),采用 Apache-2.0 许可证。