英特尔第一时间支持混元Hy3， 至强® 6适配优化已就位

7月6日，腾讯新一代自研通用多模态大模型混元Hy3正式发布并开源。相比preview版本，它展现出显著强于同尺寸模型且比肩（参数规模2—5倍的）旗舰模型的智能水平，不仅延续了清晰陡峭的能力增长曲线，并且通过进一步提升后训练的算力规模以及数据质量和多样性，在各类任务上再次跃升，以较小尺寸首次比肩国内外大尺寸旗舰模型的效果。英特尔作为混元模型在算力平台领域的重要合作伙伴，也在第一时间完成了Hy3在至强®6处理器与Gaudi®2EAI加速器平台上的适配与优化,以实际行动来加速优质开源大模型在产业应用中的快速落地。

此次英特尔对Hy3的快速支持与适配优化，包含了针对该模型中多个关键组件与算子的优化，这让至强®6处理器平台能够通过充分释放其内置的英特尔®AMX（高级矩阵扩展）技术的潜能，为该模型提供更为高效且强劲的推理加速支撑，进而可在推荐配置下，仅使用单台至强®6服务器即可部署总参数295B、BF16精度的满血版Hy3模型。

至强®6平台部署方案

目前，英特尔已在SGLang主分支完成针对Hy3与至强®6处理器硬件特性的专属优化，以最大化发挥这款处理器平台的算力与带宽优势。按照以下步骤，即可完成该模型在至强®6平台上的安装与适配：

平台推荐配置：搭载两颗至强®6性能核处理器，推荐选用6978P（120核）或6980P（128核）型号，每颗处理器均需配置为SNC3模式，整个平台建议搭配1TB或以上容量的内存。

安装指南参考：https://docs.sglang.io/platforms/cpu_server.html#installation

至强®服务器server启动指南参考：

https://docs.sglang.io/platforms/cpu_server.html#launch-of-the-serving-engine

#启动server命令python-m-sglang.launch_server--model-pathHY-3.0_ID--dtypebfloat16--trust-remote-code--devicecpu--disable-overlap-schedule--tp6

值得一提的是，如果想获得更好的解码性能，可以在server启动命令中增加"--enable-torch-compile"。

Gaudi®2EAI加速器平台部署方案

英特尔®Gaudi®2EAI加速器对Hy3的支持和适配也已就绪，在仅使用单节点4卡高速互联的情况下即可完成该模型的部署与应用，为用户带来更高的灵活性及更低的部署和应用门槛。

按照以下步骤，既可完成Hy3模型在Gaudi®2EAI加速器上的部署：

平台推荐配置：单节点适配方式需要安装至少4块Gaudi®2EPCIe加速卡，基于单卡96GBHBM的配置实现4卡384GB的HBM总容量。

Gaudi®2EAI加速器针对Hy3的技术资源，现已上传至Github：

https://github.com/HabanaAI/vllm-fork/tree/aice/v1.22.0

按照下述步骤操作，即可安装上述链接中提供的vllm-fork及vllm-hpu-extension库：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm推理手册.md#10-环境部署

再按照下述步骤，用下载得到的Hy3FP8模型权重目录,进行转换后即可部署使用该模型：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm推理手册.md#384-fp8精度模型部署