/ ai资讯

英特尔携手浪潮信息从边缘计算向边缘智算迈进

发布时间:2024-11-10 15:45:53

在数字化转型和智能化升级的大背景下,数据的处理和计算能力的部署正逐渐向网络边缘和设备边缘转移。这种转变不仅能够显著降低应用的响应延迟,确保数据安全,还能够减少对集中式云服务和核心网络的依赖,同时提升对多样化应用场景的适应性和服务能力。随着大模型和人工智能领域的快速发展,算力需求将愈发成为制约企业转型、成长的因素。

从边缘计算向边缘智算迈进

随着边缘计算逐步进入稳健发展期,使用单一边缘计算技术构建的应用难以充分发挥其价值。2023年,大模型的突破和生成式 AI 的兴起,带来了新的技术发展转折点,重塑算力格局。边缘计算与 AI 的结合尤为亮眼,带来了各种本地化的智能边缘应用,如智慧交通、智能制造和智慧零售等。

为满足大模型在行业和企业的落地,基础大模型会结合行业独有的知识、流程和数据资源,弥合技术与需求间的差距,进一步分化为行业大模型或企业大模型。在生成式 AI 的驱动力下,边缘计算加速向边缘智算迈进,边缘智算承载行业/企业大模型,满足无处不在的智能化需求,为数字化转型与智能化升级提供强大的技术支撑。不仅可以保证私有数据的调用安全,降低云端微调或推理的成本,还可以降低网络延时,满足用户个性化的表达需求,助力落地“人工智能 ”的最后一公里。

大模型时代

边缘智算面临的挑战

大模型工作负载主要分成两类:训练和推理。其中,训练的工作负载用于训练人工智能模型,如 GPT4、LLM,推理的工作负载用于接受用户的输入,产生对应的输出。

相对来说,训练所需的算力资源远远高于推理,因此对应的算力资源需求也有所差异。在这个背景下,企业在边缘使用大模型通常会遇到以下挑战:算力需求多元、算力成本需不断优化、部署环境较为苛刻和计算架构多样且管理复杂。

基于英特尔 至强 可扩展处理器的

边缘服务器

为了有效应对大模型时代边缘智算的挑战,浪潮信息构建了全栈的边缘计算产品家族,包括四大硬件产品系列、支撑边缘海量设备终端的三大管理软件,以及边缘 AI、云边协同等多种解决方案。搭载第五代英特尔至强可扩展处理器的2U元脑 边缘服务器 NE5260G7 和 1U元脑边缘服务器 NE3160G7,融合了英特尔最新的处理器技术,支持多种加速算力选项。不仅提供了卓越的计算性能和能效,还具备强大的 AI 推理能力,支持国内主流大模型及行业大模型应用。

基于第五代英特尔 至强 可扩展处理器的元脑 边缘服务器 NE5260G7,是浪潮信息推出的旗舰 2U 双路边缘服务器,同时搭载面向边缘的英特尔锐炫 GPU,提供了强大的大模型适配能力:

英特尔锐炫 GPU:基于Xᵉ HPG 微架构构建,包括 16GB 的大显存以及称为英特尔 Xᵉ Matrix Extensions(英特尔XMX)的专用 AI 加速硬件,这些内核专门用于 AI 工作负载中常用的矩阵运算,包括深度学习和大模型推理任务。

开放标准软件堆栈:基于英特尔的开源 OpenVINO 工具套件,开发者可以轻松编写能在 GPU、CPU 及其他硬件加速器上运行的代码,避免了供应商锁定和潜在的断供风险。

全面的大模型支持:无论是国内还是国外的主流大模型,NE5260G7 都能提供完善的训练和推理支持,满足不同行业对于大模型应用的需求。

元脑NE5260G7 支持高达近百 TB 的存储容量,还可支持多种无线模组灵活接入,无论是面向 AI 算力、大模型应用场景还是存储场景,都能提供灵活的解决方案。

元脑 NE3160G7 则是针对小基站场景推出的解决方案,单机可处理128路摄像头接入数据,灵活应对货架缺货量分析、商品智能结算、客流量统计等各类 AI 推理任务。支持灵活的网络和 AI 加速卡扩展、适应恶劣的边缘环境,支持1588、GPS、级联3类时钟同步通信,保证海量数据处理准确无误,可以稳定用于智能基站、边缘轻量化推理等场景。

同时,两款产品均遵循最新的开放计算 OTII (Open Telecom IT Infrastructure) 标准,设计紧凑,适应性强,能够轻松适应各种边缘环境。目前的应用场景/实例有:

大模型推理

智能电网调度

智能AGV/AMR调度

智慧交通

智慧物流

小基站

结语

边缘向 AI 而行,边缘智算将无处不在。边缘智算作为新一代计算模式与智能化服务的重要载体,正引领着数字化转型与智能化升级的新潮流。生成式AI与边缘计算的融合正在激发全行业数智化创新,英特尔将AI能力融入所有软硬件产品与方案,力求云、网、边、端每个触点支持AI应用,满足客户应用场景多元复杂、数据多样化、算力性能等挑战。

英特尔将与浪潮信息等生态伙伴携手共进,共同推动边缘智算技术的创新与发展,为构建更加智慧、高效、可持续的未来世界贡献力量。

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

如有疑问请发送邮件至:bangqikeconnect@gmail.com