电脑 Agent 会做一次还不够：Simular 怎样让它学会重放，出错后再接着做

导读

电脑 Agent 偶尔完成任务，离每天执行同一流程还有距离。Simular 的 Ang Li 尝试把成功操作保存成代码，之后优先重放，遇到界面变化再让视觉模型探索并更新路径。现场演示中，Agent 先找到周二的演讲者并保存步骤，换成周三后重放代码；中途卡住时，它重新观察界面，补完剩余操作。这样稳定的步骤不必每次重新推理，模型则处理脚本无法适应的变化。团队还让 Agent 在填表后反读结果、检查并返工，高风险操作需要人工批准。除了动作可靠性，客户也需要独立的工作环境：Agent 占用本人电脑时，人没法同时使用，于是 Simular 提供云端托管桌面，让 Agent 操作没有便利接口的旧软件。Ang 将截图、可访问性树和网页结构比作不同传感器，借多种信号互相补充。