Nebius 要在云巨头全面投入前长大,光买 GPU 够不够?
GPU 供不应求给 AI 云公司带来机会,等云巨头投入更多资源后,Nebius 靠什么留住客户?
导读
GPU 供不应求给 AI 云公司带来机会,等云巨头投入更多资源后,Nebius 靠什么留住客户?CTO Danila Shtan 的回答是把硬件容量做成可靠、可优化的云服务,让不同规模的客户都能运行自己的任务。新芯片送到后,团队要联调虚拟机隔离、存储和网络,并与供应商一起解决大规模集群问题;客户接入时,再按流量、首个 token 等待时间和总延迟调整推理服务。对于用途较窄的任务,团队还会考虑压缩模型,接受其他能力下降来节省运行成本;开放式研究和范围宽的编程任务则不宜照搬。成熟企业还会要求安全认证和检查,因为它们要对自己的客户负责。Danila 认为芯片紧缺终会缓解,因此公司一边扩大规模,一边投入搜索、隔离执行等 Agent 工具,尝试服务模型调用之外的工作。