← 返回首页

RAG的效果怎么样，怎么评测的

发布时间: 2026-06-17
出自: 腾讯面试

RAG（检索增强生成）系统的效果并非一劳永逸，其实际表现高度依赖于检索质量与生成质量的协同。要准确评测 RAG 的效果，不能仅凭肉眼观察最终回答，而必须建立一套系统化的评估体系，将检索阶段和生成阶段拆解开来分别进行度量。

以下是目前业界主流的 RAG 评测维度与方法：

一、 核心评估维度

一个健康的 RAG 评估体系需要同时覆盖检索和生成两个组件，以精准定位系统故障点。

1. 检索阶段指标（Retrieval Metrics）

检索是 RAG 的地基，主要衡量系统是否找到了正确的文档，以及文档的排序是否合理。

  • 精确率与召回率（Precision & Recall）：精确率衡量检索到的文档中有多少是真正相关的；召回率衡量所有相关文档中有多少被成功检索到了。
  • 平均倒数排名（MRR）：衡量第一个相关文档在检索结果中的排名位置，数值越接近 1 代表搜索质量越高。
  • 归一化折衷累积增益（NDCG）：结合相关性和排名位置，对列表下方找到的好文档进行惩罚，常用于通用搜索场景。

2. 生成阶段指标（Generation Metrics）

生成阶段主要衡量大模型基于检索到的上下文，生成答案的质量。

  • 忠实度/有据性（Faithfulness / Groundedness）：这是最致命的指标，衡量生成的答案是否完全基于检索到的上下文，有没有产生“幻觉”（即模型编造了上下文中不存在的信息）。
  • 答案相关性（Answer Relevance）：衡量生成的答案是否真正回答了用户的提问，有没有答非所问。
  • 完整性（Completeness）：衡量生成的答案是否包含了文档里所有相关的关键信息，有没有遗漏。
  • 流畅度（Fluency）：衡量生成的答案是否通顺自然，逻辑是否清晰。

3. 系统与业务指标

  • 成本与延迟：包括总体响应时间（Latency）和 Token 消耗量，用于评估系统的性能与经济性。
  • 用户反馈闭环：通过收集生产环境中用户的“点赞/差评”反馈，将其转化为正负例测试集，持续监控并优化系统。

二、 主流评测方法

目前，RAG 评测主要采用“自动化为主，人工为辅”的策略。

  • LLM-as-a-Judge（大模型作为评判者）：这是当前最主流的自动化评估方法。通过设计特定的 Prompt，让一个独立的大语言模型扮演“裁判”，根据给定的评分标准（如情感、安全性、忠实度等）对 RAG 系统的输出进行打分和分类。这种方法与人类判断具有良好的一致性。
  • 人工抽检：自动化评测虽然高效，但本身也存在误差。正确的做法是用自动化工具过滤出低分案例进行人工复核，并随机抽取 10%-20% 的高分案例进行人工抽检，以确保评估的准确性。

三、 常用评估工具

业界已经涌现出许多成熟的自动化评估框架，极大地简化了评测工作：

  • Ragas：目前最流行的 RAG 评估框架，专为 RAG 场景设计，内置了忠实度、相关性、完整性等核心指标。
  • LangSmith：LangChain 官方的评估和监控平台，能够无缝集成到 LangChain 项目中，提供详细的追踪可视化和自动化评估报告。
  • DeepEval：优秀的开源评估框架，支持自定义指标，功能强大。
  • Maxim AI / Arize Phoenix：提供全栈 RAG 工作流支持和基于 OpenTelemetry 标准的可观测性追踪，帮助精确定位故障点。

评估核心原则与避坑指南

  1. 先评估检索，再评估生成：如果检索阶段就找错了文档，后续再怎么优化大模型和 Prompt 都无济于事。
  2. 避免单一指标衡量所有场景：例如，客服场景最看重“忠实度”（绝不能有幻觉），而搜索场景则更看重 MRR（最相关的结果要排在最前面）。
  3. 测试集必须独立：严禁使用构建知识库的原始文档来生成测试集，这会导致“考试做原题”的过拟合现象，无法反映真实的泛化能力。
  4. 建立持续监控机制：RAG 的效果会随时间推移而退化（如文档更新、用户问题变化）。必须将评估集成到 CI/CD 流程中，每次修改配置或更新知识库时自动运行测试，防止有问题的版本上线。