让一个人专门表演“开门”，为什么不如从真实视频里找他顺手开门？

导读

为机器人专门录制动作容易得到清楚标签，却可能让人表演得比日常动作更刻意。Bright Data 的 Rafael Levi 提议先在公开视频中搜索需要的动作片段，再决定哪些值得收集和标注，减少下载大量无关视频的开销。他演示按洗碗或折衣服的动作描述搜索，系统返回原视频、时间段和匹配分，帮助团队定位长视频中需要的几秒钟。网络视频提供多样的环境和自然行为，却通常缺少机器人关节、接触力和执行结果，因此需要与机器人数据配合。Meta 的 V-JEPA 2 研究先用大量视频预训练，再用不到 62 小时特定机器人数据训练动作条件模型。搜索词也会影响收集范围：除了理想的正例，团队还可以寻找不同环境、视角和失败动作，再检查片段是否完整。