EdgeChains是一个全栈生成式AI库,用于前端、后端、API、提示管理和分布式计算,所有核心提示和链都在Jsonnet中以声明方式管理。
一分钟了解#
EdgeChains是一个独特的全栈生成式AI库,基于Hono.js和Jsonnet构建,将Kubernetes配置管理的理念引入AI领域。它采用声明式Jsonnet配置管理提示词和链式推理,支持自动并行化、容错扩展和版本控制,让开发者能够以简单方式构建生产级AI应用。
核心价值:将复杂的AI提示工程简化为声明式配置,支持版本控制、测试和生产环境部署
快速上手#
安装难度:中 - 需要配置Supabase/PostgreSQL数据库和API密钥
# Clone the repo
git clone https://github.com/arakoodev/EdgeChains/
cd EdgeChains
# Go to ChatWithPdf example
cd JS/edgechains/examples/chat-with-pdf/
# Install dependencies
npm install
# Setup secrets in secrets.jsonnet
# Configure database using provided SQL
# Start the server
npm run start
适合我的场景吗?
- ✅ AI应用开发:需要管理复杂提示词和推理链的项目
- ✅ 生产环境:需要版本控制、测试和扩展性的AI应用
- ✅ 提示工程:需要管理多种LLM提示词并进行版本控制
- ❌ 简单聊天机器人:只需要基本LLM API调用的场景
- ❌ 快速原型:没有Jsonnet或复杂配置需求的项目
核心能力#
1. 声明式提示管理 - 解决提示词管理复杂性#
- 使用Jsonnet声明式管理提示词,使其版本化、可比较和可测试 实际价值:提示词不再嵌入代码中,可以独立修改和版本控制,避免"提示漂移"问题
2. 自动并行处理 - 解决性能瓶颈#
- 自动跨CPU、GPU和TPU并行化LLM链和思维链任务 实际价值:充分利用计算资源,加速复杂AI推理过程,提高应用响应速度
3. 容错与扩展 - 解决生产环境稳定性#
- 内置容错机制,支持请求失败时的重试和退避策略 实际价值:生产环境AI应用更加稳定可靠,减少因API失败导致的系统崩溃
4. 代币成本追踪 - 解决成本控制难题#
- 内置细粒度代币使用追踪和测量功能 实际价值:精确监控和控制AI应用运营成本,避免意外的高额API调用费用
5. 单文件部署 - 解决复杂部署问题#
- 生产级AI应用仅需一个脚本文件和一个Jsonnet文件 实际价值:极大简化部署流程,降低维护复杂性,提高开发效率
技术栈与集成#
开发语言:JavaScript, TypeScript 主要依赖:Hono.js(轻量级Web框架)、Jsonnet(配置语言)、OpenAI API、Supabase(向量数据库) 集成方式:API / Library
维护状态#
- 开发活跃度:活跃开发项目,有友好的开发者社区(Discord)
- 最近更新:近期有更新,作为生产级框架持续迭代
- 社区响应:有明确的贡献指南和代码行为规范
商用与许可#
许可证:GNU Affero General Public License v3.0 (AGPL-3.0)
- ✅ 商用:需要商业许可证(联系项目方获取)
- ✅ 修改:允许修改代码
- ⚠️ 限制:AGPL要求衍生作品也必须开源,商用使用需获得特殊许可
文档与学习资源#
- 文档质量:综合文档,包含示例、API文档和教程
- 官方文档:https://github.com/arakoodev/EdgeChains
- 示例代码:有ChatWithPdf完整示例,包括数据库配置和使用指南