LFM2 里没有 302 个神经元:Liquid AI 怎样把架构变成硬件问题
模型放进汽车或手机后,怎样同时满足速度、内存和任务质量?
导读
模型放进汽车或手机后,怎样同时满足速度、内存和任务质量?Liquid AI 的 Ramin Hasani 介绍,团队把架构选择变成面向硬件的搜索:将卷积、注意力等组件放入候选集合,在目标设备上比较延迟、吞吐、内存和质量,再按约束组合。早期连续递归网络能控制小型机器人,放大后却难以利用 GPU 并行计算;面向 CPU 的 LFM2 因而采用卷积与注意力的混合结构。部署还要处理芯片内核、散热、长上下文和更新:Mercedes-Benz 合作涉及车内语音、摄像头和 OTA,Shop 应用则展示另一类任务。Liquid 从派工程师为客户定制模型做起,希望把数据生成、训练、评测和部署逐渐做成平台,并根据线上新请求持续调整模型。