Optiver 想让新模型当天可用，AI 团队要先做完哪些事？

导读

怎样让有价值的新模型发布当天就能用于公司工作，而不是只接通一个接口？Optiver 的 Noyan Tokgozoglu 把准备做在平时：工程师坐到交易员身边了解任务，和业务团队建立固定参考集，新模型到来便能测本公司的效果。平台再处理网关、运行框架、成本配置和使用说明，并以跨地区轮值接住问题。统一接入仍给团队保留模型和框架的选择，避免交付节奏被单一供应商牵住。能力扩张后，团队回头治理新会话里膨胀的上下文，改为按需找工具、调整缓存，并让各组看见花费、自己设限额。员工原本各自拼装 Agent 网页，平台团队又把会话管理和产物查看做成共享门户，交易员也能提交代码改进它。真实任务重测还受外部系统状态变化影响，团队正尝试用快照回放工具当时看到的信息。