清华大学 THUDM 推出的 LLM 强化学习后训练框架，深度融合 Megatron-LM 训练能力与 SGLang 推理引擎，支持大规模 RL Scaling，适用于 GLM、Qwen、DeepSeek、Llama 等大模型的分布式强化学习训练。

其他深度学习大语言模型

查看详情 →

微软官方推出的 1-bit 大语言模型推理框架。通过高度优化的内核，实现 CPU 和 GPU 上的无损、高速推理，大幅降低能耗并允许在普通设备上运行千亿参数级模型。

模型与推理框架PythonPyTorch

查看详情 →

AirLLM优化推理内存使用，允许70B大语言模型在单张4GB GPU卡上运行推理，无需量化、蒸馏和剪枝。现在还能在8GB显存上运行405B Llama3.1模型。

模型与推理框架PythonPyTorch

查看详情 →

开源的314B参数大语言模型，采用专家混合(MoE)架构，为研究者和开发者提供可访问的超大规模AI模型实现。

模型与推理框架PythonPyTorch

查看详情 →

一个包含100个博士级研究任务的基准测试平台，涵盖22个不同领域，用于系统性评估深度研究代理（DRA）的报告生成质量和信息检索能力。

文档教程与资源PythonAI代理

查看详情 →

一个展示如何在单GPU上使用现代技术训练GPT-2(124M)模型的仓库，可在不到一小时内微调至高性能。

模型与推理框架PythonPyTorch

查看详情 →

FlashMLA是一款大语言模型推理内核，提供高效可变长度缓存注意力机制和精确的内存管理，显著减少内存浪费并提升推理吞吐量。

模型与推理框架PythonC#

查看详情 →

MiniMax-M2.1 是一款面向真实开发和代理场景的尖端AI模型，支持多语言软件开发、复杂工作流执行和全栈应用开发，提供开放、可控且透明的AI代理能力。

模型与推理框架PythonTransformers

查看详情 →

GLM-4.5系列是面向智能体的基础模型，统一了推理、编程和智能体能力，提供思维模式和普通模式，适用于复杂智能体应用场景。

模型与推理框架PythonPyTorch

查看详情 →

专为超大规模MoE模型设计的下一代大语言模型训练引擎，提供高效率、高可扩展性的训练解决方案，支持高达1T参数规模的模型训练。

模型与推理框架PyTorchPython

查看详情 →