浅谈PCIe交换机的拓扑结构和核心功能

本文翻译转载于：Cadence Blog

作者：Vanessa Do

觉得乏味？那就错了。PCIe 交换机可是人工智能背后的隐形动力

说到 AI，脑海中浮现的可能是未来感十足的机器人或自动驾驶汽车。而那些在幕后默默支持这些复杂系统的硬件组件英雄们，往往被人们忽略。在这些组件中，PCI Express (PCIe) 交换机听起来似乎是一个乏味的话题，更不用说去阅读相关文章了。但转折点就在这里——在赋能 AI 工作负载方面，它们具有革命性的意义。PCIe 交换机绝不仅仅是一个功能性的硬件，它是隐形的基石，负责加速数据处理、消除瓶颈，并确保现代 AI 系统以惊人的速度和极高的精度运行。

理解 PCIe 交换机：结构、功能与拓扑

PCIe 交换机是智能的多端口设备，是可扩展、高性能计算系统的骨干。从架构上看，PCIe 交换机包括一个连接到根端口（Root Port）的上游端口，以及多个连接到 GPU、SSD 或 FPGA 等端点（Endpoints）的下游端口。其内部包含非阻塞交叉开关（Crossbar）交换矩阵、路由逻辑、带有用于跨域通信的交叉链路（Cross-link）功能的非透明桥（NTB）以及遥测功能。

PCIe 交换机之所以在 AI 和数据中心环境中不可或缺，是因为它们能够提供超出 CPU 根复合体（Root Complex）所能提供的连接性和带宽扩展能力。例如，现代 PCIe 交换机支持端点之间的直接点对点（Peer-to-Peer）通信——这对于多 GPU AI 训练工作负载至关重要，因为加速器必须在无需 CPU 干预的情况下交换海量数据集。

PCIe 拓扑结构：交换机的角色定位

PCIe 拓扑结构定义了系统中设备的互连方式。最常见的拓扑结构包括：

树形拓扑：单个根端口通过一个或多个交换机连接至多个端点设备。这是服务器和工作站中最常见的布局。

多根拓扑：多个根复合体通过支持非透明桥（NTB）的交换机共享对一组公共端点设备的访问。这种结构用于高可用性或多主机系统。

PCIe 交换机作为中心枢纽，通过在设备之间高效路由流量来实现这些拓扑，从而实现灵活的系统设计和扩展。

PCIe 交换机、根端口与端点设备的区别

根端口 (Root Port)：PCIe 层级的源头，通常集成在 CPU 或芯片组中。它发起事务并管理下游设备的配置与控制。然而，如果没有 PCIe 交换机端口，连接将仅限于单个端点设备。

端点 (Endpoint)：指消耗或产生数据的设备，如 GPU、SSD 或网卡（NIC）。它们是 PCIe 拓扑中的叶节点，依赖根端口或交换机与其他设备通信。

PCIe 交换机 (PCIe Switch)：位于根端口和端点之间，使多个端点或 PCIe 交换机能够与根端口以及彼此之间进行通信。与根端口不同，它不发起事务，而是促进事务的进行。与端点不同，它不消耗或产生内存数据，而是高效地路由数据。PCIe 交换机包含一个连接到上层端口的上游交换端口，以及一个或多个连接到其他交换机或端点的下游交换端口，从而实现织网（Fabric）扩展。

PCIe 交换机的核心功能

点对点传输 (Peer-to-Peer Transfers)：允许端点直接通信，绕过 CPU。

通道分叉 (Lane Bifurcation)：将 x16 链路动态拆分为更小的宽度（如 4×4），以优化带宽分配。

带宽分配：根据流量需求、拥塞情况和优先级调整带宽分布。

CXL 兼容性：支持 AI 工作负载中的内存池化和一致性内存共享。

集成重定时器 (Retimers)：在高速运行（如 PCIe 6.0 的 64 GT/s）时保持信号完整性。

遥测与诊断：实时监控链路健康状况和性能。

低延迟：与以太网协议相比，极低的延迟使 PCIe 交换机成为内部系统通信的理想选择。其典型延迟范围为 1 到 5 微秒，而基于 VLAN 的以太网网络通信延迟通常在 10 到 100 微秒之间。这种显著差异使 PCIe 交换机成为高性能系统织网扩展极具吸引力的解决方案。

简而言之，虽然根端口和端点在 PCIe 拓扑中是固定功能的角色，但交换机是动态的使能者，以最小的延迟带来可扩展性、灵活性和性能优化。这种能力在 AI 驱动的系统中尤为关键，因为高效的数据流动是克服瓶颈的关键。

为何 PCIe 交换机对人工智能至关重要？

从本质上讲，AI 系统旨在处理海量数据流，无论是训练机器学习模型、运行神经网络，还是执行实时分析。为了实现这一目标，CPU、GPU 和 FPGA 等处理器必须以极高的速度交换数据。PCIe 提供的高速、低延迟通信协议使这成为可能。然而，随着 AI 应用要求更高的硬件集成度和更高的数据吞吐量，标准的 PCIe 链路已力不从心。这正是 PCIe 交换机大显身手的地方——提供可扩展、动态的连接，在幕后默默为 AI 性能提供动力。

与传统交换机不同，PCIe 交换机专为满足复杂系统的独特需求而设计。它们管理组件间的数据流，平衡工作负载，并确保无缝通信，使 AI 系统在日益严苛的工作负载下能够可靠运行。过去曾是小众组件的它，现在已成为各行各业构建 AI 系统不可或缺的部分。

重塑 PCIe 交换机的认知

PCIe 交换机可能不如炫目的新 AI 算法或突破性的机器人那样迷人，但它们承担的重任超乎想象。它们已悄然成为自动驾驶、医疗诊断和边缘计算等领域 AI 变革背后的隐藏驱动者。下次当你听到“PCIe 交换机”时，不要觉得它枯燥——请将其视为助力 AI 实现伟大飞跃的幕后功臣，它们绝非寻常。

Cadence 提供稳健的 PCIe 上游和下游端口解决方案，简化了最复杂的串行链路和协议层要求。我们的交换端口功能抽象了 PHY、数据链路和事务层的复杂性，使设计人员能够专注于 SoC 织网应用层的创新，包括端点集成、附加交换机和点对点 (P2P) 互连。无论您是在构建高密度互连拓扑，还是在 SoC 边界之外扩展 PCIe 连接，Cadence 都能简化繁重的工作，助力实现敏捷、高效且先进的设计灵活性。