英伟达团队近日在AI领域投下了一枚震撼弹，他们提出了一种全新的神经网络架构——归一化Transformer(nGPT)。这一创新架构基于超球面(hypersphere)进行表示学习，为AI领域带来了新的突破。
相较于传统的Transformer架构，nGPT在保持原有精度的同时，直接将大型语言模型(LLM)的训练速度提升了高达20倍。这一显著的性能提升，无疑将极大地推动AI技术的发展和应用。
在nGPT中，所有的向量(包括嵌入向量、多层感知机(MLP)向量、注意力矩阵向量以及隐藏状态向量)都被归一化为单位范数(unit norm)。这一设计不仅简化了模型训练过程，还提高了模型的稳定性和泛化能力。
英伟达团队的这一创新成果，无疑为AI领域注入了新的活力。nGPT架构的提出，不仅将推动AI技术的进一步发展，还将为各种应用场景提供更加高效、准确的解决方案。
关注
42文章
4724浏览量
100310免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
如有疑问请发送邮件至：bangqikeconnect@gmail.com