一张照片能生成漂亮房间，为什么机器人还是打不开桌上的茶盒

导读

一张照片可以生成漂亮的三维房间，机器人却未必知道桌上茶盒能否打开。Moonlake AI 的 Christopher Manning 认为，面向行动的世界模型需要表示对象、状态和动作后果，而不能只追求画面逼真。团队先把照片中的茶盒、水壶和杯子拆成可操作对象，再检索外部资料补充照片看不到的结构，并用代码描述尺寸、关节和运动；物理引擎处理已知规律，系统反复比较模拟与真实画面来调整。模拟让策略更快经历失败，再回到真机检验。公司报告的餐厅回收案例中，仿真能较快暴露失败类型，但对成功率偏乐观，且仍处于有人监督的开发阶段。Manning 认为建模应由任务决定：倒水时要保留杯口和液体的细节，墙上装饰则可以简化。