人工智能推理及神经处理的未来

人工智能行业所围绕的是一个受技术进步、社会需求和监管政策影响的动态环境。机器学习、自然语言处理和计算机视觉方面的技术进步，加速了人工智能的发展和应用。包括医疗保健、金融和制造业在内的各个行业对自动化、个性化和效率的社会需求，又进一步推动了人工智能技术的集成。此外，不断发展的监管体系，则强调了合乎伦理道德的人工智能、数据隐私和算法透明度的重要性，进而指导人工智能系统的负责任开发和应用。人工智能行业将训练和推理过程结合起来，有效地创建和部署人工智能解决方案。推理和训练都是人工智能整个生命周期的组成部分，其意义取决于具体的环境和应用。对于通过学习模式和从数据中提取见解来开发和优化模型而言，虽然训练极为重要，但推理在利用这些训练模型进行实时预测和决策方面，却发挥着极为重要的作用。人工智能推理(占当今人工智能任务的80%以上)的重要性越来越大，在于它在推动数据驱动的决策、个性化用户体验和不同行业的运营效率方面发挥着关键作用。

高效的人工智能推理实现，则面临着数据可用性、计算资源、算法复杂性、可解释性和法规符合性方面的挑战。而在控制成本的同时，适应动态环境和管理可扩展性，还又带来额外的挑战。克服这些挑战需要全面的战略，包括稳健的数据管理实践、硬件功能的进步和算法的改进。开发可解释的人工智能模型，并遵守道德和监管准则，对于建立用户信任和确保合规性至关重要。此外，通过高效的运营实践与技术创新来平衡资源分配与成本管理，对于在不同行业部门实现可持续有效的人工智能推理解决方案也极为重要。

人工智能推理的关键作用

通过自动化任务、增强预测性维护和启用高级分析，人工智能推理优化了流程，减少了错误，改善了资源分配。对于自然语言处理，人工智能推理提供了动力，改善了人与机器之间的沟通与理解。而在制造业领域，其影响包括预测性维护、质量控制和供应链管理、提高效率、减少浪费和提高产品质量，对行业运营具有变革性影响。

可持续人工智能推理的行业挑战

人工智能推理面临着高能耗、密集的计算需求和实时处理限制等挑战，导致运营成本增加，还加剧了对环境的影响。人工智能总功耗的60%以上来自推理，随着推理需求的增加，导致数据中心容量在两年内增加了2.5倍(GAFA数据)。对于服务器来说，密集计算过程中产生热量，还需要复杂的冷却系统，这又进一步增加了人工智能过程的总体能耗。此外，在服务器、高级驾驶员辅助系统(ADAS)或制造应用中，必须在满足高效实时处理需求与低延迟要求之间取得平衡，这也是一个重大挑战，需要先进的硬件设计和优化的计算策略。在不影响准确性的情况下，优先考虑可再生能源和环保举措的节能解决方案，对于减轻环境影响而言，是非常重要的。

由于人工智能算法的复杂性和特殊性，利用CPU或GPU的经典人工智能推理硬件设计，在实现能效方面面临限制，导致高功耗(服务器每个多核单元功耗高达数百瓦)。处理单元与存储器之间低效的数据移动，进一步影响了能源效率和吞吐量。例如，相对于访问本地寄存器，访问外部DRAM会消耗200倍的能量。最终，由于更高的计算需求，到2025年，利用CPU和GPU的下一代服务器，可能会消耗高达上千瓦的功率。而在资源受限、电池供电的设备上部署人工智能推理更具挑战性，因为最高效的基于CPU和GPU的低功耗设计(10毫瓦到几瓦)受到吞吐量的极大限制，从而限制了人工智能的复杂性和最终的用户体验。平衡能源效率与性能/精度要求，在设计过程中需要仔细权衡，并采用全面的优化策略。对复杂人工智能工作负载的硬件支持不足，可能会阻碍其能效和性能。

寻找节能解决方案

行业对节能人工智能推理解决方案的需求不断增长，这是由可持续发展目标、成本降低目标和新用途共同驱动的。企业寻求可扩展和高性能解决方案，来管理复杂的人工智能工作负载，而不会产生过高的能源成本。另一方面，节能的人工智能推理，使得移动设备或资源受限的设备能够在不快速消耗电量的情况下执行复杂任务，同时减少对云处理的依赖，最大限度地减少数据传输和延迟问题。通过高级新功能，如实时语言翻译、个性化推荐和准确的图像识别，有助于增强用户体验，提高用户参与度和满意度。

人工智能推理领域里的创新贡献

为了克服CPU和GPU的限制，为人工智能推理工作负载专门设计了创新型硬件加速器，实现高效和优化的处理，同时最大限度地减少能耗。人工智能应用中，此类加速器通过采用专用运算符(池化、激活功能、规范化等)来实现优化的数据流。数据流引擎是矩阵乘法单元，这是一个大型处理元件阵列，能够有效地处理大型矩阵向量乘法、卷积和许多更复杂运算。大多数神经网络都是基于矩阵乘法运算的。为了进一步优化能源效率，人工智能加速器已经实现了一些新技术，如近内存计算。近内存计算将处理单元集成在内存子系统中，从而实现更快的近内存数据处理，从而减少与数据传输相关的能耗。最近，又出现了采用“非标准”技术的一些新解决方案，如存内计算或尖峰神经网络(SNN)。要实现高效能人工智能推理，这些都是最具吸引力的解决方案。

存内计算直接在内存中进行电路级计算，免去了数据传输，提高了处理速度。处理可以以模拟或数字方式进行，可利用不同的存储技术，如SRAM、闪存或新的NVM(RRAM、MRAM、PCRAM、FeFET等)。这种方案特别有利于涉及大型数据集的复杂人工智能任务。SNN还代表了人工智能推理的一种创新解决方案：它们通常由通过尖峰进行通信的互连节点组成，能够模拟复杂的时间过程和基于事件的计算，这对于处理时间敏感数据或模拟人脑行为等任务很有用。

塑造人工智能推理的未来

利用近内存/存内计算或SNN的人工智能加速器对人工智能行业产生了重大影响，包括提高能源效率、提高处理速度和先进的模式识别能力。这些加速器推动硬件设计的优化，从而为特定的人工智能工作负载创建专门的架构。此外，它们还促进了边缘计算的进步，促进了直接在边缘设备上进行高效的人工智能处理，并减少了延迟。这些技术的变革潜力，凸显了其在从医疗保健、制造业、汽车到消费电子等不同行业的革命性变革中的关键作用。高能效人工智能推理在医疗保健和汽车行业的集成产生了变革性的影响。在医疗保健领域，通过快速数据分析促进了更快的诊断和个性化的患者护理，从而改善了治疗效果和量身定制的医疗干预措施。此外，它还赋能开发远程患者监测系统，确保对慢性病患者进行持续的健康跟踪和积极干预。还有，在药物研发领域，高效人工智能推理加快了潜在候选药物的识别，加速了药物研发过程，促进了医疗和疗法的创新。

在汽车行业，节能的人工智能推理在提升安全功能和自动驾驶能力方面也发挥着至关重要的作用。它为车辆提供ADAS和实时碰撞检测功能，增强整体道路安全。此外，它有助于自动驾驶技术的发展，使车辆能够根据实时数据分析做出明智决策，从而改进导航系统和自动驾驶功能。此外，基于人工智能推理的预测性维护解决方案，能够早期检测潜在的车辆问题、优化性能、减少停机时间并延长车辆寿命。

结论行业对节能人工智能推理解决方案的主要需求，是由促进可持续运营、优化资源利用和延长设备电池寿命的需求驱动的。这些解决方案在促进环保实践、降低运营成本和增强竞争优势方面发挥着关键作用。节能人工智能推理解决方案中，通过促进边缘计算应用，并最大限度地减少能源消耗，使企业能够提高盈利能力、简化流程、并确保移动和物联网设备功能的不间断。要满足这些需求，就必须开发大量基于智能近内存/存内计算技术的节能算法，并优化硬件架构。许多新公司带着创新的计算解决方案进入市场，并承诺在从传感器到数据中心的任何地方运行人工智能，以提供全新的用户体验。

(原文刊登于EE Times欧洲版，参考链接：Revolutionizing AI Inference: Unveiling the Future of Neural Processing，由Franklin Zhao编译。)