Astra 控制机械臂把积木放进碗里,但动作很慢:Waddle Labs 怎样把大模型经验编译成机器人技能
通用模型能看摄像头并指挥机械臂抓取积木,但每一步都等待推理,动作很慢。
导读
通用模型能看摄像头并指挥机械臂抓取积木,但每一步都等待推理,动作很慢。Waddle Labs 希望把首次探索的经验整理成可以反复调用的程序:稳定动作由代码和机器人控制器执行,遇到新的物体、抓取失败或环境变化时再调用模型判断。这样,模型承担规划和异常处理,底层系统继续负责快速、平稳的控制;经验也可按需要留在上下文、检索记忆、技能或训练数据中。团队以湿实验室为设想:强模型可以试着学习怎样拿取试管,重复动作再整理为程序,供以后直接调用。现场机械臂根据摄像头画面逐步移动,最终把积木放入碗中。不同保存方式要考虑任务出现的频率、硬件差异和错误代价;积累的技能也需要整理,判断何时失效、是否合并,才能让机器人不必每次从头摸索。