用 Claude Code 做 AI 评测的五步：先让人说清楚哪里不对

导读

AI 输出总要人工重改，评测规则却越加越多，怎样找出真正影响质量的失败？Shreya Shankar 和 Hamel Husain 主张让人先读真实样本、写下具体判断，再由 Agent 归类、扩展检查并测试评测器。Peter Yang 的播客写作工具已有长度和可执行性规则，但逐期补规则容易把某一期的特殊问题变成通则。Shreya 用 Claude Code 搭审核界面，让人直接在文章旁标注不喜欢的句式；系统据此归纳模式、扫描其他样本，人再抽查建议是否理解正确。稳定的模式可以拆成多个评测器，并用保留的人类标签检查误报和漏报。Hamel 展示的租房 Agent 实验中，自动工具既发现人工漏掉的问题，也漏掉销售异议处理等需要业务背景的失败。人定义产品质量、持续阅读和修正规则，自动化才有明确目标。