三星SOCAMM2内存模组提升AI数据中心带宽与能效表现

三星SOCAMM2

一款基于LPDDR的新型服务器内存模组，适用于下一代AI数据中心

随着人工智能在全球范围内加速普及，数据中心的计算工作负载正经历爆炸式增长。随着大规模模型训练向持续推理的转变，挑战不再仅仅局限于性能一一能效对于维持下一代人工智能基础设施的运行也变得至关重要。这一转变推动了对低功耗内存解决方案的需求，这些解决方案既能支持持续的人工智能工作负载，又能降低功耗。

顺应这一趋势，三星开发了SOCAMM2(小型压缩附加内存模组) 一一一款基于LPDDR的服务器内存模组，专为AI数据中心设计，目前已向客户提供样品。SOCAMM2结合了LPDDR技术的优势与模块化、可拆卸设计，可提供更高带宽、更佳能效和更灵活的系统集成，从而帮助AI服务器实现更高效率与可扩展性。

SOCAMM2被关注的技术优势

基于三星最新的LPDDR5XDRAM，SOCAMM2融合了LPDDR的低功耗特性与模块化架构的优势，为数据中心提供了更丰富的内存选择。

虽然基于DDR的服务器模组(如RDIMM，即寄存式双列直插内存模组)仍是高容量通用服务器的主流方案，但SOCAMM2作为互补选择，面向需要快速响应与高能效的下一代AI加速服务器进行了优化。相较传统RDIMM，SOCAMM2的带宽可提升至两倍以上，功耗可降低55%以上，并在高强度AI工作负载下保持稳定的高吞吐量表现。

投入使用SOCAMM2

给客户带来的利益

SOCAMM2的架构创新使客户能够以更高的效率、灵活性和可靠性运行AI服务器。

其可拆卸设计简化了系统维护和生命周期管理。与传统的焊接式LPDDR解决方案不同，SOCAMM2无需对主板进行任何修改即可轻松升级或更换内存，从而帮助系统管理员最大限度减少停机时间，并显著降低总体拥有成本(TCO)。

此外，SOCAMM2更高的能效表现使AI服务器部署中的散热管理更加便捷高效，有助于数据中心维持热稳定性并降低冷却需求一一这对于高密度AI环境至关重要。

最后，相较于RDIMM的垂直布局，SOCAMM2采用水平布局进一步提升了系统空间利用率，使散热器布局与气流设计更具灵活性，从而更顺畅地与CPU和加速器集成，同时保持与风冷和液冷系统的兼容性。

与NVIDIA 和 JEDEC

标准化组织紧密合作

三星正在扩大其与全球AI产业伙伴的合作，以加速基于LPDDR的服务器解决方案的普及，并应对服务器市场日益增长的低功耗内存需求。特别是，三星正与NVIDIA密切合作，通过持续的技术合作，优化SOCAMM2以适配NVIDIA加速的基础设施，确保其能够提供下一代推理平台所需的高响应性与能效。

NVIDIA也强调了这种合作关系：“随着人工智能工作负载从训练转向用于复杂推理和物理人工智能应用的快速推理，下一代数据中心需要兼具高性能和卓越能效的内存解决方案，”NVIDIA高性能计算和人工智能基础设施解决方案高级总监DionHarris表示。“我们与三星的持续技术合作旨在优化SOCAMM2等内存解决方案，以提供人工智能基础设施所必需的高响应速度与能效。”

随着SOCAMM2作为下一代人工智能系统的低功耗、高带宽解决方案日益普及，业界已正式开展基于LPDDR的服务器模块标准化工作，并已进入收尾阶段。三星与主要合作伙伴共同参与了这项工作，致力于制定统一的设计准则，并促进未来人工智能平台之间的无缝集成。

通过与更广泛的人工智能生态系统持续合作，三星正推动下一代人工智能基础设施向低功耗、高带宽内存转型。SOCAMM2是业界的一个重要里程碑一一它将LPDDR技术引I入主流服务器环境，并推动向新兴的超级芯片时代过渡。通过将LPDDR与模块化架构相结合，SOCAMM2为构建更紧凑、更节能的人工智能系统提供了新的方向。

随着人工智能工作负载的规模和复杂性不断增长，三星将进一步推进其基于LPDDR的服务器内存产品组合，以更好地支持下一代人工智能数据中心的发展。

• 服务器 服务器 关注

  关注

  14

  文章

  10274

  浏览量

  91556