Software 2.0

6个常见的RAG故障点

admin -

随着 AI 系统功能越来越强大，检索增强生成 (RAG) 已成为一种增强大型语言模型 (LLM) 准确性和相关性的强大方法。RAG 将信息检索技术与生成式 AI 相结合，允许系统根据用户的查询获取相关文档，然后使用 LLM 以这些特定文档为上下文生成响应。这种设置使 RAG 系统在回答复杂问题、提供实时信息以及根据最新来源提供上下文答案等任务方面非常有效。

与标准 LLM 使用相比，RAG 具有几个关键优势。通过将响应建立在特定的检索文档中，RAG 有助于减少幻觉——即 LLM 在没有事实依据的情况下生成的错误信息。此外，RAG 通过动态访问数据库或文档存储库来支持增强的信息检索，确保答案不仅准确，而且基于最新可用信息。

然而，尽管有这些优势，实施 RAG 系统也带来了一系列独特的挑战。构建强大的 RAG 系统需要仔细关注文档检索、上下文处理、响应生成和质量保证。正如本博客将探讨的那样，有七个关键故障点可能会阻碍 RAG 系统的性能，每个故障点都为工程师提出了不同的问题，需要解决这些问题才能最大限度地发挥 RAG 的潜力。

1、RAG 系统中的常见故障点

Barnett，Scott 等人。“设计检索增强生成系统时的七个故障点。”IEEE/ACM 第三届国际人工智能工程会议论文集-人工智能软件工程。2024 年

故障点 1：缺少内容

当用户提出数据库中没有相关文档的问题时，RAG 系统无法根据实际数据提供答案。虽然理想情况下，系统会回答“对不起，我不知道”，但它可能会生成一个听起来合理的、没有真实内容支持的回答。

示例：假设用户查询“量子计算算法的最新进展是什么？”但数据库仅包含几年前的过时文档。系统可能仍会根据较旧或不相关的内容提供响应，从而可能误导用户认为信息是最新的。

故障点 2：错过排名靠前的文档

在这种情况下，系统无法将最相关的文档放在检索结果的顶部，通常是由于速度优化设置将结果限制为前 K 个。这可能导致系统忽略包含最佳答案的关键文档。

示例：用户问：“CRISPR 技术如何在植物遗传学中发挥作用？”如果 RAG 系统一般检索有关 CRISPR 的科学论文，但未能优先考虑那些专门针对植物遗传学的论文，则响应可能缺乏用户查询所需的细节和特异性。

故障点 3：上下文限制

当检索到太多相关文档时，RAG 系统会面临挑战。系统必须整合它们以适应 LLM 的输入限制，这可能会导致截断或选择性优先化，从而可能遗漏关键信息。

示例：对于查询“2008 年金融危机的原因和影响是什么？”，系统检索多个报告、文章和摘要。但是，由于输入限制，仅包含每个文档的部分内容，这可能导致答案不完整，涉及原因但缺乏关于影响的具体细节。

故障点 4：答案提取错误

即使上下文中有相关文档，LLM 可能也难以过滤掉不相关的细节，尤其是当多个来源包含矛盾或嘈杂的信息时。

示例：对于像“描述一种新型糖尿病药物的副作用”这样的查询，系统检索包含大量医疗细节的文档，包括积极影响和不良副作用。由于检索到的上下文中存在噪音，LLM 可能只强调轻微的副作用，或者更糟的是，忽略重大的不良影响，导致答案不完整或误导。

故障点 5：格式错误

某些问题需要结构化的回答，例如列表、表格或特定的要点。当 LLM 不遵守这些格式要求时，回答可能没那么有用。

示例：用户询问“列出 5G 技术的主要功能”。如果 LLM 提供的是叙述段落而不是简明列表，则回答更难解析，可能需要用户手动提取功能，从而降低系统的整体效用。

故障点 6：特异性不正确

有时，RAG 系统难以满足匹配查询所需的特异性。系统可能会返回过于笼统或过于详细的答案，导致与用户想要的信息深度不匹配。

示例：对于查询“简要概述气候变化的影响

比如，在“IPCC 最新气候变化报告的主要发现是什么？”这个问题中，RAG 系统检索了多个报告部分。然而，LLM 可能只总结了一些发现，而忽略了其他关键方面，这导致答案不完整，并可能导致用户错过关键见解。

2、解决方案

将文档分成“块”的方式直接影响检索准确性和响应质量。优化分块涉及仔细选择每个文本段的大小和边界。以下是改进分块和嵌入的关键策略：

  • 自适应分块：使用特定于上下文的块大小。例如，科学文档可能受益于段落级块，而较短的文档可能更适合句子级块。调整块大小可以减少不相关信息并提高检索精度。
  • 语义分块：除了大小之外，还可以考虑基于主题转换、关键点或话语标记划分文档的语义分块方法。这种方法使每个块更有意义，帮助 RAG 系统检索上下文适当的片段。
  • 嵌入质量：选择或训练针对该领域的嵌入。预训练模型（例如，句子转换器）适用于一般文本，但使用特定于领域的数据创建的自定义嵌入可以改善专门查询的相似性匹配。嵌入应该同时捕获内容的主题和样式，因为匹配不佳的嵌入可能会导致不正确的检索。

3、RAG 与 LLM 微调：优点和缺点

对于特定于领域的应用程序，在 RAG 方法和微调 LLM 之间进行选择取决于成本、准确性和更新的难易程度等因素。以下是一些有助于指导这一决策的比较：

RAG 方法的优点：

  • 灵活性：可以随时索引新文档，使系统无需重新训练即可保持最新状态。
  • 隐私：敏感数据保留在检索数据库中，不会嵌入到 LLM 中，从而提供更高的数据安全性。
  • 成本效率：通过依赖检索避免高成本的微调，使其适合频繁更新或动态内容。

RAG方法的缺点：

  • 延迟：获取文档并重新排名会带来延迟，从而减慢响应时间。
  • 质量控制：如果检索不精确，答案的质量可能会因上下文中不相关或松散相关的信息而受到影响。

LLM 微调的优点：

  • 专业化：微调使 LLM 能够深度适应特定领域的术语和细微的上下文，从而提高答案的准确性。
  • 速度：响应通常更快，因为不需要检索步骤；模型直接生成适合领域的答案。

LLM微调的缺点：

  • 成本：需要大量资源进行训练，尤其是对于大型 LLM。
  • 维护：更新知识需要使用新数据重新训练，这既耗时又昂贵。
  • 潜在的过度拟合：微调模型在领域外的问题上可能表现不佳，从而限制了它们的适应性。

4、持续改进的测试和监控

RAG 系统由于其实时、动态的特性，需要强大的测试和监控实践。以下是有效的策略：

  • 真实场景测试：在类似生产的环境中模拟常见的用户查询。跟踪系统的响应以识别可能影响质量的差距、排名不一致或与上下文相关的问题。
  • 用于测试的合成数据：由于很难预测所有用户查询，因此合成数据生成可以填补测试空白。使用 LLM 根据已知文档创建假设的问答对，尤其是对于训练数据有限的领域。
  • 性能指标：监控响应准确性、排名靠前的文档的相关性、检索延迟和用户反馈。对重大偏差（例如检索质量突然下降）创建警报。
  • 自动评估和人机验证：OpenAI 的 OpenEvals 或 G-Eval 等自动化工具可以提供初步质量检查。将这些与定期人工审核相结合，以确保发现并纠正细微问题（例如格式遵守或特异性）。
  • 自适应反馈循环：使用来自用户交互的持续反馈机制来调整和微调检索和生成组件。例如，来自用户对响应质量的评分的反馈可以指导排名算法的改进并完善 LLM 的提示说明。

通过实施这些解决方案，RAG 系统可以变得更加可靠，更好地满足特定用户的需求，在灵活性和准确性之间取得平衡，以适应强大的特定领​​域应用。

原文链接：The Common Failure Points of LLM RAG Systems and How to Overcome Them

汇智网翻译整理，转载请标明出处