【RAG优化】一文整理20多种目前常用的 RAG 创新方法

搜罗了一下目前常用的和比较前沿的RAG方法和研究，20多种。

0. 标准 RAG

• • 介绍 ：一个基本的 RAG 系统由检索模块和生成模块组成。系统会对查询进行编码，检索相关的文档块，然后为基于 transformer 的 LLM 构建丰富的提示。
• • 创新点 ：将外部知识动态注入生成过程，而无需修改 LLM 本身，就像是给 LLM 戴上了一副能随时获取新知识的 “眼镜”。
• • 优点 ：简单有效，能够提升 LLM 的生成效果。
• • 缺点 ：存在检索到很多与 query 无关的片段，增加噪声输入，与 query 关联的信息比较稀疏，需要 LLM 本身去提炼或挖掘利用。

1. GraphRAG

• • 创新点：结合知识图谱与RAG，通过实体和关系建模增强语义关联，支持多跳推理和复杂查询。例如，利用图谱的拓扑结构优化检索路径，提升对开放域问题的回答质量。
• • 优点：显著提高答案的全面性和逻辑性，适用于知识密集型任务（如医学、法律问答）。
• • 缺点：图谱构建成本高，多模态图谱融合难度大。
• • 论文：GraphRAG: Knowledge Graph Enhanced Retrieval-Augmented Generation

2. Modular RAG

• • 创新点：模块化设计，灵活集成检索、重排序、生成等组件，支持定制化功能（如多答案整合、多轮对话）。
• • 优点：扩展性强，适应不同领域需求。
• • 缺点：组件协同优化复杂，系统调试成本高。
• • 论文：https://arxiv.org/html/2407.21059v1

3. Advanced RAG

• • 创新点：在检索前后增加预处理（如查询重写）和后处理（如结果重排），提升信息相关性。
• • 优点：减少噪声干扰，优化生成质量。
• • 缺点：流程复杂度增加，实时性受限。

4. TRAQ

• • 创新点：结合Conformal Prediction和贝叶斯优化，提供端到端统计正确性保证，减少生成中的虚构现象。
• • 优点：首个实现开放域问答的统计可信度框架。
• • 缺点：依赖检索器和生成模型的性能假设。
• • 论文：TRAQ: Trustworthy Retrieval-Augmented Question Answering

5. ColBERT

• • 创新点：基于张量分解的语义检索模型，通过近似矩阵乘法加速检索，支持百亿级语料库的实时查询。
• • 优点：检索效率高，兼顾语义和字面匹配。
• • 缺点：预计算开销大，存储需求高。
• • 论文：ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction

6. AgenticRAG

• • 创新点：集成智能代理（Agent）技术，支持主动推理和用户个性化交互，如多轮对话中的上下文记忆。
• • 优点：增强系统自主性，适应动态需求。
• • 缺点：内存管理和计算资源消耗大。
• • 链接：https://weaviate.io/blog/what-is-agentic-rag

7. Multimodal RAG

• • 创新点：支持图像、音频等多模态数据检索与生成，如CLIP和BLIP模型的应用。
• • 优点：跨模态信息整合，提升交互丰富性。
• • 缺点：模态对齐技术不成熟，计算成本高。
• • 链接：https://gautam75.medium.com/multi-modal-rag-a-practical-guide-99b0178c4fbb

8. HyDE（Hypothetical Document Embeddings）

• • 创新点：生成假设性文档嵌入，引导检索过程，减少对显式知识库的依赖。
• • 优点：增强零样本检索能力。
• • 缺点：依赖生成模型的虚构风险。
• • 链接：https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde

9. RARE（Retrieval-Augmented Reasoning Engine）

• • 创新点：主动拆解用户问题为子查询，多轮迭代优化检索结果，模仿人类推理过程。
• • 优点：解决复杂问题的多跳推理需求。
• • 缺点：响应延迟显著增加。
• • 论文：技术细节见RARE: Retrieval-Augmented Reasoning Engine

10. RA-DIT

• • 创新点：结合微调（Fine-tuning）与RAG，通过参数调整优化检索与生成的协同。
• • 优点：模型适应性强，支持领域定制。
• • 缺点：训练数据需求量大。
• • 论文：RA-DIT: Retrieval-Augmented Dual Instruction Tuning

11. DSP（Demonstrate-Search-Predict）

• • 创新点：在推理阶段动态结合示例检索、搜索和预测，提升生成可控性。
• • 优点：灵活适应多样化任务。
• • 缺点：示例选择对性能影响大。
• • 论文：Demonstrate-Search-Predict: Composing Retrieval and Language Models for Knowledge-Intensive NLP

12. RETRO

• • 创新点：在预训练阶段引入检索机制，增强模型的知识内化能力。
• • 优点：生成内容更准确，减少幻觉。
• • 缺点：预训练成本极高。
• • 论文：Improving Language Models by Retrieving from Trillions of Tokens

13. Self-RAG

• • 创新点：模型自主决定何时检索，动态调整生成策略，平衡检索成本与效果。
• • 优点：自适应性强，资源利用率高。
• • 缺点：需要复杂的提示工程。
• • 论文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

14. KG2RAG

• • 介绍 ：利用知识图谱来增强 LLM 生成效果，将检索文档 + rank 方式和利用图谱（知识库）两种方式融合起来
• • 创新点：将知识图谱直接映射为检索源，利用图遍历技术优化实体关系查询。
• • 优点：结构化知识利用率高。
• • 缺点：图谱更新和维护复杂。
• • 链接：https://arxiv.org/html/2502.06864v1

15. CoRAG（Collaborative RAG）

• • 介绍 ：考虑块间相关性，使用蒙特卡洛树搜索（MCTS）框架处理添加块的单调效用问题，还使用设置代理适应各种查询类型
• • 创新点：多模型协作检索与生成，通过投票或加权融合提升结果鲁棒性。
• • 优点：减少单一模型偏差。
• • 缺点：系统集成复杂度高。
• • 论文：https://arxiv.org/pdf/2501.14342

16. Auto-RAG

• • 介绍 ：使用 LLM 细化查询，通过多轮对话规划检索，直到收集到足够信息的自主方法。该系统会根据问题难度自适应调整，并用自然语言解释其过程。
• • 创新点 ：通过多轮对话来细化查询和规划检索，能够根据问题难度自适应调整。
• • 优点 ：对问题难度的适应性高。
• • 缺点 ：需要多轮对话处理，实现复杂。
• • 论文 : https://arxiv.org/pdf/2411.19443

17. MemoRAG

• • 介绍 ：采用具有长期记忆的双系统方法。轻量级 LLM 创建数据库的 “全局记忆” 并生成回答草稿以指导检索工具，而更强大的 LLM 使用检索到的数据生成最终回答。
• • 创新点 ：通过轻量级 LLM 和强大 LLM 的组合来实现高效处理。
• • 优点 ：能够通过轻量级 LLM 和强大 LLM 的组合实现高效处理。
• • 缺点 ：需要构建双系统。
• • 链接 ：https://github.com/qhjqhj00/MemoRAG
• • 论文 ：https://arxiv.org/pdf/2409.05591

18. HtmlRAG

• • 介绍 ：直接使用 HTML，保留标题、表格等有价值的信息结构，而不是使用纯文本。通过清理和修剪技术处理 HTML 中的额外噪音和大小。
• • 创新点 ：保留了 HTML 中的结构化信息，如标题和表格等。
• • 优点 ：能够保留更多的信息结构，有助于提高生成结果的质量。
• • 缺点 ：需要对 HTML 进行噪声处理。
• • 论文 ：https://arxiv.org/pdf/2411.02959

19. FastRAG

• • 介绍 ：使用模式和脚本学习高效处理数据，不完全依赖 AI 模型的方法。结合文本检索和知识图谱查询，提高精度，减少 90% 的处理时间和 85% 的成本。
• • 创新点 ：结合了文本检索和知识图谱查询，并通过模式和脚本学习来提高处理效率。
• • 优点 ：显著减少处理时间和成本。
• • 缺点 ：模式和脚本学习的适用范围有限。
• • 论文 ：https://arxiv.org/pdf/2411.13773

20. 其他方法（简要列举）

• • FLARE：迭代检索与生成结合，动态扩展上下文窗口。
• • RePlug：检索增强的预训练语言模型，支持多任务学习。
• • Atlas：基于稠密检索的大规模知识增强模型。
• • FiD（Fusion-in-Decoder）：在解码阶段融合多检索结果，提升生成多样性。
• • RAGFlow：集成多模态文档解析（如DeepDoc模块），支持PDF、图像等非结构化数据处理。

总结

以上方法覆盖了RAG技术的核心方向，包括图谱增强、模块化设计、多模态扩展、自适应检索等。未来趋势将聚焦于多模态融合、动态推理优化和轻量化部署