Runway 不只想生成视频：一次 Sora 危机、一个神经界面和机器人仿真

导读

视频模型能生成逼真画面，怎样进一步响应操作并帮助机器人试验动作？Runway 联合创始人 Anastasis Germanidis 介绍团队从创作工具走向界面生成与机器人仿真的尝试。界面模型根据上一帧和用户动作生成下一帧，让人点击、拖拽和滚动；这为原型和教育提供了新的交互方式，但持续生成也要考虑成本与长期状态。机器人实验则让多个策略先在模拟中运行，再筛选值得真机测试的候选。公司报告，在指定桌面任务、同一种机械臂和八个策略上，模拟排序与真机排序相关约 0.95；这个数字比较的是相对排序。Anastasis 还介绍，团队先用大量普通视频训练，再用机器人数据继续训练，希望模型从观察中学习运动和物体接触，同时针对不同机器人适配。