最近AMD正式宣布收购专注于相关领域的芯片初创公司Taalas,通过这次收购进一步强化自身在AI推理赛道的布局,给全球AI算力市场的产品迭代带来了新的动向,也能给广大用户带来更多更实用的AI算力选择。
很多做AI部署的工程师都有过类似的头疼经历:大模型部署到推理端之后,运行延迟居高不下,用户发一个请求要等好几秒才能出结果,同时算力芯片的功耗还特别高,数据中心的电费成本一直降不下来,想优化推理效率却找不到特别顺手的硬件方案。Taalas作为深耕AI推理相关技术的初创公司,在细分领域积累了很多针对性的技术经验,这次AMD把它纳入麾下,就是为了把这些成熟的技术积累整合到自己的产品体系里,针对性解决当下AI推理场景里的这些常见痛点。
这次收购最直接的影响,就是能快速补齐AMD在AI推理侧的技术细节优势。以前很多AI推理芯片在处理特定类型的大模型算子的时候,容易出现效率瓶颈,明明标称的算力很高,实际跑起来却发挥不出全部性能。Taalas团队在AI推理的架构设计、算子优化方面有很多年的深耕经验,这些技术融入之后,AMD后续的AI算力产品,在跑日常的大语言模型推理、图像生成推理任务的时候,能把算力利用率提得更高,同样的硬件配置下,每秒能处理的用户请求数量能明显上涨,直接降低单路推理任务的运行成本。
对于普通的AI应用开发者来说,后续能直接感受到的体验提升非常实在。以前部署AI推理服务,要花大量时间针对硬件做繁琐的算子适配优化,很多冷门的模型算子跑起来容易出错,还得自己花精力写补丁调试。等这次收购的技术整合完成之后,AMD的AI推理平台会对更多主流的大模型、开源框架做原生适配,开发者不用再花大量时间做底层的调试工作,把模型导进去就能直接高效运行,大幅缩短AI应用从开发到落地的周期,中小团队也能轻松搭建出稳定高效的AI推理服务。
在数据中心的实际运行场景里,后续的产品还能带来实实在在的成本下降。优化后的AI推理芯片,在同样的算力输出下,整体功耗能得到有效控制,数据中心不用再为了支撑AI业务额外扩容供电和散热系统,就能承载更多的AI推理负载。对于很多正在大规模上线AI服务的互联网企业、行业客户来说,这意味着同样的电费预算,能支撑更多的AI用户请求,长期运行下来能省下一笔非常可观的运营成本,也能让AI服务的使用门槛进一步降低,惠及更多普通用户。
AMD在通用计算和AI算力领域深耕多年,旗下的多款算力产品已经在全球海量数据中心、个人消费级场景里落地使用,积累了非常扎实的用户口碑和生态基础。这次收购Taalas,不是为了追逐短期的概念热度,而是踏踏实实针对AI推理场景的真实痛点做技术补全,把初创团队的细分技术优势,和AMD成熟的大规模量产、生态建设能力结合起来,最终落地成普通用户能实实在在用到的产品体验升级。
未来随着这次收购的技术整合逐步完成,我们会看到更多搭载优化后AI推理能力的AMD算力产品走向市场,从云端的数据中心推理卡,到边缘侧的低功耗AI加速模块,都会获得对应的性能提升。这会让AI推理服务的运行效率更高、成本更低,进一步推动AI大模型在各行各业的普及落地,让更多普通用户都能用上响应更快、成本更低的AI智能服务,实实在在感受到AI技术带来的便利。
关注
463文章
55564浏览量
477647免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com