AI 应用返回了 200 OK，为什么监控仍然可能什么都没发现？

导读

AI 应用返回 200 OK、延迟正常，用户仍可能收到不相关或编造的答案。Datadog 的 Marina Petzel 建议保留传统运行监控，同时增加成本、安全和质量检查，分别判断钱花在哪里、输入输出有什么风险、回答是否有用。成本可按功能、用户、模型与环境打标签，找出上下文增长、换模型或重复调用带来的费用；安全检查覆盖提示注入、个人信息和有害内容；质量则从依据、相关性、完整性、用户反馈及检索结果等方面持续评估。她强调上线前固定样本的回归测试不够，因为同一提示可能产生不同回答，线上还要继续检查。对检索增强应用，团队还应检查取回的文档是否与问题相关：即使模型忠实使用上下文，材料本身不对，答案仍可能偏离用户需要。