Runway 想让视频模型接管哪些界面？从一张汽车图片到 Continuum

导读

视频模型除了生成供人观看的成片，还能怎样成为用户操作的界面？Runway 联合创始人 Cristóbal Valenzuela 展示的方向是让模型接收人的动作，并实时生成随之变化的画面。他从一张汽车图片开始，点击开灯、旋转车身、打开引擎盖；演示没有使用汽车的三维模型，而是让模型根据点击生成后续画面。团队还在早期研究 Continuum：用户选中网页内容，生成可继续探索的交互画面，再通过点击、移动和提问了解雾、电池或光合作用。曾经生成的入口可以保存下来，以后重新进入；调整窗口大小也能改变其中的体验。Valenzuela 还设想让编程 Agent 启动一幅人也能操作的画面，双方一起讨论自行车三维模型的设计。按照他的计划，展示中的大部分内容将在未来八到十二个月开放。