一款基于 Rust 的跨平台命令行工具，通过检测本地硬件（CPU/GPU/RAM）自动评估并推荐最适合的大语言模型及量化策略，支持 206 个模型和 57 个提供商。

模型与推理框架大语言模型Rust

查看详情 →

一个极简、可修改的 LLM 训练实验框架，支持从预训练到 ChatGPT 风格 UI 的全流程，设计用于单 GPU 节点运行。

大语言模型TransformersPyTorch

查看详情 →

Stream公司开发的开源视觉智能体框架，支持任何模型或视频提供商，通过Stream的边缘网络实现超低延迟，帮助开发者快速构建视觉AI应用。

智能体与应用工具PythonPyTorch

查看详情 →

AirLLM优化推理内存使用，允许70B大语言模型在单张4GB GPU卡上运行推理，无需量化、蒸馏和剪枝。现在还能在8GB显存上运行405B Llama3.1模型。

模型与推理框架PythonPyTorch

查看详情 →

一个提供统一OpenAI、Anthropic、Gemini和AI SDK兼容API的现代AI网关系统，支持多AI模型提供商的请求转换和追踪。

智能体与应用工具GoLiteLLM

查看详情 →

微软开源的前沿语音AI模型家族，包含文本转语音(TTS)和自动语音识别(ASR)模型，支持长时音频处理和多语言功能。

模型与推理框架PyTorchPython

查看详情 →

Trinity-RFT是一个通用、灵活且用户友好的LLM强化微调(RFT)框架，通过将RFT解耦为三个协同工作的组件：Explorer、Trainer和Buffer，为不同背景的用户提供针对特定领域的训练能力。

模型与推理框架PythonPyTorch

查看详情 →

一个基于verl构建的统一且易于扩展的工具智能体训练框架，支持多种工具使用场景，通过强化学习训练能调用工具的AI智能体。

模型与推理框架PythonPyTorch

查看详情 →

一个使用多模态大语言模型优雅解决 hCaptcha 验证码挑战的项目，不依赖用户脚本或第三方验证码服务。

智能体与应用工具Python多模态

查看详情 →

一个用于评估大型语言模型代码生成能力的基准测试平台，包含1140个软件工程导向的编程任务，分为完整和指令两种模式，可测试模型在复杂指令和多样化函数调用场景下的编程能力。

文档教程与资源PythonPyTorch

查看详情 →