找不到一只小鸟时，模型该不该再看一遍？Perceptron怎样把VLM接到机器人上

导读

机器人摄像头不断产生视频，但关键接触动作只占其中一小部分，真实遥操作数据又昂贵。Perceptron 的 Armen Aghajanyan 探索让视觉模型按任务分配计算，并用大量视频补充机器人数据。模型一次看不清图片里的小鸟时，演示中的系统会切图、放大并再次调用模型，直到找到候选；这增加了调用成本和延迟。另一项研究在模型内部让低信息 token 跳过部分计算，把更多资源留给任务相关区域，但过度稀疏会损害下游表现。团队还研究先用普通视频学习视觉变化，再用较少遥操作数据学习具体动作。分拣书籍的任务则把识别和控制连起来：系统读取书脊文字、选择目标，再让机器人抓取并放入容器。背景、光照变化和长期任务的记忆仍是团队要处理的问题。