乐鱼体育行业观察|降价不是大模型落地的唯一抓手

2024-05-30

  降价虽好,但非万能药。合适价格的背后是性价比——只有技术没有服务,落不了地;只有服务没有技术,不可能有创新

  火山引擎、阿里云、百度智能云、腾讯云等多家云厂商接连宣布降低模型推理token价格(大语言模型中,token指文本单位。一个token可以是单词、标点、数字、符号等),部分模型推理价格降幅超过90%。

  近期,多位云厂商高管表示,降价的目的是降低企业客户的试错成本。让各行各业加速用大模型开发AI应用。他们预计,2024年下半年以后,AI应用会迎来一轮爆发。一种乐观的看法是,目前AI应用的发展阶段类似2012年-2014年移动互联网爆发早期。

  目前,营销、客服、知识库、数据报表等领域是大模型第一轮落地的场景,但这并非企业的核心业务场景。多个行业头部企业的IT部门负责人表示,大模型的实际表现暂时未超出预期。

  供给方的云厂商正热火朝天地试图推动大模型落地,它们希望大模型尽快产业落地,这并让人不意外。云厂商为算力建设、模型研发投入了巨额成本,它们希望靠大模型带动营收增长。

  需求方的大型企业在谨慎观望。多个行业头部企业的IT部门负责人表示,云厂商大幅降低推理token价格是好事,但价格不是第一位的因素,关键是要对业务产生价值。落地大模型,首先要算清投入产出比。他们通常会从营销、客服、数据报表等有成熟案例的业务开始试点,再考虑是否将大模型扩散到更多业务。

  在供需双方之外,一些创业企业、个人开发者也扮演了重要角色。这轮降价对他们影响相对较大,他们希望借助大模型开发AI应用服务市场,他们的试错成本很低,一般是用大模型开发轻量级的AI应用。这些应用普遍和文本生成、PPT生成、思维导图相关,一些团队已经取得了一定的收入和利润。

  大模型产业落地并不简单。一些云厂商已经意识到了需求方的顾虑。5月28日,百度集团执行副总裁、百度智能云事业群总裁沈抖在一场公开活动上提到,企业把大模型技术用起来并不容易,厂商要为企业提供专业的技术和服务。只有技术,没有服务,就落不了地;只有服务,没有技术,就不可能有创新。

  大模型的推理算力成本主要受云厂商的客户规模、技术能力的影响。客户规模越大,推理成本一般会越低。技术方面,提升算力集群利用率、优化模型算法结构,这两种方式也可以降低推理成本。

  这一轮推理算力价格战,百度智能云表现很激进。文心大模型除了部分主力模型降价,旗下共七款模型还宣布免费。能快速跟进价格战,主要原因是百度智能云一年多来在用技术手段降低算力成本。

  算力集群由成百上千甚至上万张AI芯片连通组成,一张卡出现故障甚至会影响整个集群的运作。商业客户需要稳定、安全的算力供给。这对算力集群中AI芯片相互间的通信优化、运维管理提出了很高的要求。百度在用自研的百舸异构计算平台管理万卡集群,降低AI芯片性能损失,提升算力集群工作的有效时长。目前百度把AI芯片的有效训练时长从去年的95%提升到了超过98.8%。

  此外,针对客户对多种AI芯片进行模型训练、推理的需求,百舸提供“一云多芯”的调度能力。英伟达的高性能GPU被视为更适合模型训练和推理的AI芯片,但其被禁止进入中国市场。去年很长一段时间,国内处于AI芯片荒。为了帮助商业客户摆脱对单一芯片的依赖,百舸实现了对昆仑芯XPU、昇腾NPU、海光DCU、英伟达GPU、英特尔CPU等国内外主流AI芯片的兼容。在不同芯片的混合训练中,百舸的百卡集群性能损失低于3%,千卡集群性能损失低于5%,处于业内领先水平。

  百度还在优化模型算法、结构,进而帮客户节省算力成本。目前,百度智能云采用模型路由(在不同任务下切换不同模型)的方式为客户组合各种尺寸的AI模型,实现不同业务场景下的按需调用。这可以大幅降低模型部署成本,提升模型推理性能。

  其他云厂商降低推理成本的做法与之大同小异。这带来的直接好处是,减轻了企业投入大模型的负担。降价可以吸引企业客户开始探索大模型,大量的探索也将激发创新,找到大模型落地的实践方案。

  一位云厂商高管算了一笔账,过去企业做一次大模型应用创新可能要花200万元,这笔预算会很难申请。但推理价格降低99%以后,可能只需要花2万元。这种试错成本是可以说清楚的。

  多位企业的数字化负责人也认为,云厂商打价格战,对企业落地大模型是好事。但他们同时表示,价格并不是企业落地大模型的第一位因素。因为,推理算力降价暂时并没解决企业核心问题——大模型如何带来经济价值。在核心问题被解决前,降价对企业来说,只是隔靴搔痒。

  企业IT支出有自己的内在逻。


本文由:乐鱼app官方网站提供