原名 text-generation-webui,面向本地部署的全功能大语言模型界面,集成对话、视觉理解、工具调用、LoRA 微调与图像生成,提供 OpenAI/Anthropic 兼容 API,完全离线运行。
TextGen 是由 oobabooga 组织维护的本地大语言模型前端项目(原名 text-generation-webui),灵感来源于 AUTOMATIC1111/stable-diffusion-webui。项目采用 Python 后端 + Gradio/自定义前端架构,通过模块化后端抽象层统一封装 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五种推理引擎,支持运行时热切换后端与模型,无需重启服务。
在对话能力方面,TextGen 提供 Instruct 模式(Jinja2 模板格式化)、Chat/Chat-Instruct 角色对话、Notebook 自由生成三种模式,并支持消息编辑、版本导航与对话分支分叉。多模态方面支持图片附加进行视觉理解,以及上传 .txt/.pdf/.docx 文档进行内容问答。工具调用方面,每个工具封装为单个 .py 文件,内置网页搜索、页面抓取、数学计算等能力,同时支持 MCP 服务器协议。
API 层面,启用 --api 标志后暴露 OpenAI Chat/Completions 和 Anthropic Messages 兼容端点,支持 tool-calling,可作为云端 API 的本地 drop-in 替代。训练层面内置 LoRA 微调功能,支持多轮对话和原始文本数据集,支持断点恢复。图像生成方面提供专用标签页,支持 diffusers 模型(如 Z-Image-Turbo)及 4-bit/8-bit 量化,附带带元数据的持久化画廊。
隐私方面,项目实现零遥测、无外部资源请求、无远程更新的完全离线架构。界面支持深色/浅色主题、代码语法高亮与 LaTeX 渲染。扩展系统通过 extensions/ 目录加载社区与内置扩展(TTS、语音输入、翻译等)。GPU 后端覆盖 CUDA、Vulkan、ROCm 及 CPU-only,支持 Linux、Windows、macOS 三平台。安装方式提供便携版(零配置)、venv 手动安装和一键安装器三种路径,模型文件放入 user_data/models 即可自动检测加载。
项目采用 AGPL-3.0 协议,2023 年 8 月曾获 Andreessen Horowitz (a16z) 资助。最新提及版本为 v4.6.2。