AI Agent 不读政策文件,它只看 API 有没有放行
组织写了禁止删除或泄露数据的政策,Agent 调用 API 时仍可能照样执行危险操作。
导读
组织写了禁止删除或泄露数据的政策,Agent 调用 API 时仍可能照样执行危险操作。Gravitee 的演示把规则移到运行时:由网关核验身份、权限和额度,而不是指望模型始终记得文件里的要求。酒店预订案例中,未受限的 Agent 按提示删除了全部预订;另一侧虽然找到了相同工具,却在调用时因缺少管理员权限被拒绝,仍完成了获准的单笔取消。网关还可在请求到达模型前限流,阻止故障 Agent 反复消耗预算;对重复查询使用语义缓存,并按用户或 Agent 调整相似度阈值。请求、工具调用和拒绝结果留在日志里,方便追溯多 Agent 调用链。团队也可以将大型工具集合收窄,只向当前任务开放需要的能力,减少无关操作进入模型上下文。