三分钟视频压成十个 Token，Meta 为什么说推荐器比聊天机器人便宜 100 倍？

导读

推荐模型要理解更长的观看历史，却不能把每条视频的全部画面和声音都放进上下文。Meta 的 Devansh Tandon 介绍，团队可把内容压成语义 ID，让模型同时学习自然语言和内容目录，再根据用户历史和指令选择推荐。他估计三分钟视频展开约需一万个 token，压缩后可能只需十个；相近内容可共享部分结构，从而在固定窗口里放入更多历史。训练时，模型既学习把内容 ID 与文字描述对应，也学习根据观看序列预测缺失内容；后续再用用户信息对候选重新排序。用户还能用自然语言表达近期兴趣，直接调整 Feed。Tandon 认为推荐器输出的是已有内容的标识，不必像聊天模型逐字生成全部内容，因此推理成本有不同的结构；压缩后的表示也会舍去部分细节。