LLM / RAG 评估集模板：案例、评分与上线门槛

LLM 评估集应该保存什么？

一个案例需要记录输入、当时可用的证据、合格结果与绝不能发生的行为。对于 RAG，把检索与最终回答分开评分：回答听起来正确，不代表检索到了正确的来源。

发布前用有版本的评估集比较方案，生产中用监控发现新案例。LangSmith 官方文档也区分离线与在线评估。下面的模板不绑定平台，并给出映射到 LangSmith 的思路；它是从生产日志构建评估集的实践补充。

示例均为虚构。真实客户标识与机密片段，需要先明确数据访问和保留规则。参考答案可以描述多种合格表达，不必把评估变成逐字匹配。

再加入“资料不存在”的案例，正确结果应是说明限制或升级处理，而不是编造规则。还要有“资料存在但用户无权查看”的案例，不能靠泄露受限内容来提高检索分数。

检索看必要片段是否出现、过时或受限资料是否排除。回答看结论是否有支持、是否包括例外、是否明确不确定性。动作看业务系统里真实发生了什么，而不是模型声称做了什么。

可以分别记录 evidence_found、answer_supported 与 action_authorized。不要一开始就压缩成总分。没有证据但碰巧答对，仍是需要理解的信号。

标识、权限和必填字段先做确定性检查。模糊业务判断交给人复核。LLM 裁判可以辅助安排复核优先级，但要与人工结果校准，并记录版本、规则与分歧。裁判的自信不能充当真实答案。

在看到新方案分数之前，先约定门槛。例如：未经授权写入为零、跨租户泄露为零、高严重性案例不退步、人工复核时间中位数不增加。这是供调整的示例门槛，不是通用行业标准。

按类别报告结果。如果 95 条普通问题全部成功、5 条例外全部失败，总体准确率仍然是 95%，但运行缺口很明确。重复增加简单案例不会解决这个问题。

保留一组不参与提示调优的测试案例。某个失败一旦进入开发反馈，就如实记录，不再称它为未见样本。每次实验保存模型设置、提示版本、检索配置与语料版本。

使用 LangSmith 时，可把问题放进样本输入，期望行为放进参考输出，类别、严重性与资料版本放进元数据。评估器分别返回不同维度的分数。具体字段和 SDK 写法应核对安装版本；逻辑契约比代码片段更耐久。

平台负责组织实验，团队仍负责定义什么叫可接受。仪表盘不能替你判断某个政策例外对客户有多重要。

从拒绝结果、人工改写、升级处理与事故记录中寻找新案例。加入的是独立失败类型或重要边界，同时保留常规流量，避免整个集合只有罕见灾难。记录每个案例来自哪里、为什么入选。

小集合能帮助早期决策，但不能证明普遍可靠。随着语言、权限、文档类型和可执行动作增加继续扩充，同时关注每次成功任务的成本。

LangSmith 评估概念，核查于 2026 年 10 月 24 日，支持离线案例与在线监控的区分。本文字段表、示例、评分维度和发布门槛均为提出的实践方法。