一款基于 Rust 的跨平台命令行工具，通过检测本地硬件（CPU/GPU/RAM）自动评估并推荐最适合的大语言模型及量化策略，支持 206 个模型和 57 个提供商。

模型与推理框架大语言模型Rust

查看详情 →

汇总可免费使用的 LLM 推理 API 清单，涵盖 OpenRouter、Google AI Studio、Groq、Cerebras 等主流平台的速率限制、模型列表及特殊要求，适合开发者在原型阶段进行选型参考。

大语言模型Python知识库

查看详情 →

一个极简、可修改的 LLM 训练实验框架，支持从预训练到 ChatGPT 风格 UI 的全流程，设计用于单 GPU 节点运行。

大语言模型TransformersPyTorch

查看详情 →

Stream公司开发的开源视觉智能体框架，支持任何模型或视频提供商，通过Stream的边缘网络实现超低延迟，帮助开发者快速构建视觉AI应用。

智能体与应用工具PythonPyTorch

查看详情 →

AirLLM优化推理内存使用，允许70B大语言模型在单张4GB GPU卡上运行推理，无需量化、蒸馏和剪枝。现在还能在8GB显存上运行405B Llama3.1模型。

模型与推理框架PythonPyTorch

查看详情 →

一个提供统一OpenAI、Anthropic、Gemini和AI SDK兼容API的现代AI网关系统，支持多AI模型提供商的请求转换和追踪。

智能体与应用工具GoLiteLLM

查看详情 →

一个关于构建和评估通过可执行语言建模的语言模型代理的论文集合，涵盖LLM代码生成、代理工具使用、网络接地和机器人等多个研究领域。

Blades是Go语言的多模态AI Agent框架，支持自定义模型、工具、记忆和中间件，适用于多轮对话、思维链推理和结构化输出等场景。

智能体与应用工具Go智能体框架

查看详情 →

微软开源的前沿语音AI模型家族，包含文本转语音(TTS)和自动语音识别(ASR)模型，支持长时音频处理和多语言功能。

模型与推理框架PyTorchPython

查看详情 →

Trinity-RFT是一个通用、灵活且用户友好的LLM强化微调(RFT)框架，通过将RFT解耦为三个协同工作的组件：Explorer、Trainer和Buffer，为不同背景的用户提供针对特定领域的训练能力。

模型与推理框架PythonPyTorch

查看详情 →