Agent 还没跑完,钱怎么先扣?AI 产品正在把账本搬进请求路径
Agent 的运行步数和费用事先难以确定,等月末账单才检查额度,算力可能早已超支。
导读
Agent 的运行步数和费用事先难以确定,等月末账单才检查额度,算力可能早已超支。Stigg 创始人 Dor Sasson 主张把授权、预算和账本放进请求路径:运行前判断权限并预留额度,过程中检查,结束后按实际消耗结算。并发请求还要防止重复花费同一余额,重试则需要幂等处理;不同来源和到期时间的 credits 也要按明确顺序扣减、保留记录。OpenAI 公开的设计提供了一个参照:同步计算可用额度,异步记账并保留可对账事件,同时接受短暂余额延迟并处理超支退款。企业共享预算还可能由部门、用户和多个 Agent 一起消耗,因此管理者需要看到不同主体和模型的使用情况,并为不同团队设置预算和相应的消耗上限。