LLMs 论文研读社

系统化整理 LLMs 顶会论文研读笔记，涵盖 PEFT (LoRA/QLoRA)、RAG、Agents (RoleLLM) 等核心领域的动机与方法解析，为算法工程师提供结构化的论文学习路径。

项目简介#

LLMs 论文研读社是由 NLP 领域开发者杨夕维护的知识库项目，旨在解决大语言模型领域文献爆炸、难以系统化筛选与理解的痛点。项目通过提供结构化的论文研读笔记，帮助算法工程师、研究人员快速掌握顶会论文的研究动机、核心方法及代码实现。

适用场景#

LLMs 算法工程师的技术栈构建与面试准备
研究人员快速了解 Prompt、LoRA、RAG、Agent 等细分领域的 SOTA 工作
技术团队内部学习分享与技术选型参考

核心内容矩阵#

PEFT 系列篇（参数高效微调）#

技术	核心要点
Prompt	预训练语言模型的提示学习方法
Instruction	指令调优方法
Self-Instruct	自我生成指令的蒸馏方法
LoRA	低秩适应的大型语言模型微调，通过旁路低秩分解实现零推理延迟
DyLoRA	动态无搜索低秩适应
LOMO	有限资源下的全参数微调
QLoRA	4-bit 量化微调策略
VeRA	基于向量的随机矩阵适应

LoRA 方法详解：

动机：Adapter 增加推理延迟，Prefix Tuning 难优化且性能非单调
方法：在原模型旁增加旁路，通过低秩分解（降维矩阵 A + 升维矩阵 B）模拟参数更新，训练时固定原模型仅训练 A/B，推理时将 BA 加到原参数上不引入额外延迟

RAG 系列篇（检索增强生成）#

技术	核心要点
Self-RAG	自我反思的检索增强生成
Active RAG (FLARE)	主动检索增强生成
MemSum-DQA	长文档问答系统
PDFTriage	长结构化文档问答

多领域应用：医疗、宗教、常识、法律、知识图谱、任务型对话、汽车

LLMs Agents 篇（智能体与角色扮演）#

项目	描述
RoleLLM	角色扮演能力基准
Character-LLM	可训练的角色扮演智能体
ChatHaruhi	动漫角色复活技术
Role-Play with LLMs	大语言模型角色扮演研究

其他主题#

GPT 系列篇：表格解析（Table 解析）、小样本 QA 问答
Prompt 系列篇：小样本数据增强方法
LMMs 可解释性篇：大模型事实性综述、LLMs 自我解释性研究
LLMs4KG 篇：ChatKBQA 知识库问答框架

知识体系架构#

llms_paper/
├── PEFT 系列篇/
│   ├── Prompt / Instruction / Self-Instruct
│   └── LoRA / DyLoRA / LOMO / QLoRA / VeRA
├── GPT 系列篇/
│   └── Table 解析篇
├── RAG 系列篇/
│   ├── RAG Trick篇
│   └── RAG 应用领域篇
├── Prompt 系列篇/
├── LMMs 可解释性篇/
├── LLMs4KG 篇/
└── LLMs Agents 篇/
    └── 角色扮演

笔记结构标准#

每篇研读笔记包含以下元数据：

论文标题与会议/来源
arXiv 链接与GitHub 代码链接（如有）
核心动机分析
方法论图解/步骤

使用指南#

在线阅读#

直接访问 GitHub 仓库或 Gitee 镜像浏览论文笔记

本地检索#

git clone https://github.com/km1994/llms_paper.git

使用 Markdown 编辑器（如 Obsidian、Typora）进行本地检索与阅读

移动端学习#

关注公众号「关于NLP那些你不知道的事」
加入知识星球「关于AiGC那些你不知道的事」获取精简版内容

关联项目生态#

同作者维护的相关项目：

LLMs 九层妖塔：LLMs 系统性学习路径
LLMs 千面郎君：LLMs 面试题库
NLP 百面百搭：传统 NLP 面试笔记
NLP 论文学习笔记：早期 NLP 论文笔记
推荐系统百面百搭：推荐系统面试笔记