redpanda-agents

Redpanda Agent 是由 Redpanda, Inc. 官方维护的企业级 AI Agent Python SDK（要求 Python ≥ 3.13，当前版本 0.1.0）。其核心设计理念是将 LLM Agent 作为 Redpanda Connect 数据管道的 processor plugin 运行，通过 gRPC（protobuf v1alpha1）实现跨进程通信，从而复用 Redpanda Connect 生态的全部 input/output/processor 组件。

核心能力#

• Agent 编排：通过 Agent 类封装 LLM 调用，支持自定义 system prompt、Pydantic v2 结构化输出验证、工具调用、多 Agent 内进程编排及生命周期钩子（on_start/on_end/on_tool_start/on_tool_end）
• 多模型调用：基于 LiteLLM 统一调用 OpenAI、Gemini、Bedrock 等提供商，模型格式为 "provider/model"
• MCP 协议集成：完整支持四种传输方式——SSE、Stdio、HTTP-Stream、WebSocket
• Redpanda Connect 管道集成：声明式配置 input/output/tools/tracer，工具通过 mcp/resources/processors/*.yaml 定义并复用 Redpanda Connect processor 能力
• 可观测性：集成 OpenTelemetry SDK，Tracing 可发送至 Jaeger/OTel Collector，覆盖 pipeline 和 Python 进程两个层面
• 声明式配置：支持 YAML（redpanda_agents.yaml）和 Starlark（Python 方言）两种配置方式
• 企业级特性：Redpanda Broker/ACL/Auth 集成，多 Agent 场景下的 authz/authn 管理

架构概览#

Redpanda Connect Runtime
  (input → processor plugin → output pipeline)
        │ gRPC (protobuf v1alpha1)
        ▼
redpanda.runtime (serve())
  gRPC Server 暴露 Agent 为 plugin
        │
        ▼
redpanda.agents (SDK Core)
  Agent · Tool · AgentHooks · MCPEndpoint
  ├── LiteLLM (多模型统一)
  ├── MCP Client (4种传输协议)
  └── Pydantic v2 (结构化验证)

关键机制：redpanda.runtime.serve() 启动 gRPC server 将 Python Agent 进程暴露为 Redpanda Connect 可调用的 processor plugin；工具定义通过 meta.mcp.enabled: true 标记，被 Agent 按 label 引用，实际执行由 Redpanda Connect processor 完成。配置采用双层结构——redpanda_agents.yaml 负责管道拓扑，agents/*.py 负责 Agent 逻辑。

快速开始#

方式一：rpk 脚手架（推荐）

rpk connect agent init my_first_agent
rpk connect agent run my_first_agent

方式二：直接安装

pip install redpanda-agents

最小可用代码：

from redpanda.agents import Agent
import redpanda.runtime

my_agent = Agent(
    name="my_first_agent",
    model="openai/gpt-4o",
    instructions="These are your instructions - good luck!",
)
asyncio.run(redpanda.runtime.serve(my_agent))

适用场景#

• 事件驱动的 AI 处理管道（流式消息 → AI 处理 → 结果输出）
• Agent 间异步通信（基于 Kafka 兼容协议）
• MCP 工具链集成（如 Redpanda MCP Server）
• 结构化数据提取（Pydantic model 自动验证与序列化）
• 需要审计日志持久化的企业级 Agent 部署

待确认信息#

• PyPI 发布状态未确认（GitHub Releases 显示无发布记录）
• rpk connect agent 命令的具体可用版本未确认
• ai.redpanda.com 网站具体内容未验证
• 审计日志发送至 Redpanda/Kafka 功能标注为 partial，实现程度不明