在现代人工智能（AI）和机器学习领域，数据处理需求呈爆炸性增长，推动了计算基础设施的快速迭代与优化，特别是AI服务器，作为处理大规模并行计算任务的核心硬件平台，其内部架构设计对于整体性能的影响至关重要，而PCI Express（PCIe）作为一种高速串行计算机扩展总线标准，已经成为现代AI服务器中不可或缺的一部分，随着PCIe标准的不断演进，PCIe 4.0和PCIe 5.0等新一代总线技术逐渐得到广泛应用，进一步提升了数据传输速度和带宽，本文将探讨AI服务器中基于全国产PCIe SWITCH 4.0/5.0交换芯片的三种典型PCIe拓扑结构——Balance Mode、Common Mode和Cascade Mode，通过点对点带宽与延迟、双精度浮点运算性能和深度学习推理性能测试，分析它们在不同应用场景下的适用性，为AI服务器的实际应用提供指导。

背景介绍

PCIe技术的发展

PCIe（Peripheral Component Interconnect Express）是一种高速串行计算机扩展总线标准，自2003年面世以来，已经发展到了第五代（PCIe 5.0），每一代PCIe标准都在数据传输速率和带宽上有所提升，从最初的PCIe 1.0的2.5 GT/s（千兆传输每秒）到PCIe 5.0的64 GT/s，提供了更高的数据吞吐量和更低的延迟。

AI服务器的需求

AI服务器需要处理海量数据并进行复杂的并行计算，这对数据传输速率提出了极高的要求，传统的计算架构往往难以满足这种高效、低延迟的数据传输需求，基于PCIe的高性能互联解决方案应运而生。

国产PCIe Switch芯片的重要性

中国在半导体领域的快速发展，使得国产PCIe Switch芯片逐渐成为市场的重要选择，这些芯片不仅在技术上达到国际先进水平，而且具备更高性价比，为国内外企业提供了更多选择。

三种典型PCIe拓扑结构

1. Balance Mode（平衡模式）

特点：

Dualroot架构：每个CPU连接两个独立的PCIe Switch芯片。

GPU均衡分配：每个Switch下的GPU数量相等，确保资源均衡使用。

P2P通信：同一Switch下的GPU可以直接进行对等通信（Peer-to-Peer, P2P），不同Switch之间则需通过超级通道互联（如UPI）。

优势：

- 适合多GPU配置，能够有效利用每个GPU的资源。

- 提高了系统的扩展性和灵活性。

劣势：

- 跨Switch通信时可能引入额外的延迟。

- 配置和管理相对复杂。

2. Common Mode（通用模式）

特点：

单root架构：所有GPU连接到一个PCIe Switch上，并由一个CPU控制。

P2P通信：同一Switch下的GPU可以直接进行P2P通信，跨Switch通信需要通过CPU。

优势：

- 简化了系统架构，易于管理和维护。

- 适合中小规模的GPU部署。

劣势：

- 跨Switch通信带宽较低，可能成为性能瓶颈。

- 所有GPU共享单一CPU资源，可能导致负载不均。

3. Cascade Mode（级联模式）

特点：

级联架构：多个PCIe Switch以链状连接，形成级联结构。

P2P通信：同一级联Switch下的GPU可以直接进行P2P通信，不同级别的Switch之间也可以直接通信。

优势：

- 提供了更高的扩展性，可以连接更多的GPU。

- 减少了跨通道通信的延迟。

劣势：

- 级联结构可能导致信号衰减，影响远距离通信质量。

- 管理和配置更加复杂。

实验设计与性能测试

为了评估这三种PCIe拓扑结构的性能，我们设计了一系列实验，包括点对点带宽与延迟测试、双精度浮点运算性能测试和深度学习推理性能测试。

1. 点对点带宽与延迟测试

方法：

- 使用业界标准的基准测试工具，如iperf和Latency Tester，测量不同拓扑结构下的带宽和延迟。

- 模拟实际应用场景中的数据传输模式，确保结果具有代表性。

结果：

Balance Mode：展现了较高的带宽和较低的延迟，特别是在同一级联内的GPU通信中，跨级联通信时，延迟略有增加。

Common Mode：在单一Switch内的性能表现良好，但跨Switch通信时带宽显著下降，延迟增加明显。

Cascade Mode：级联结构提供了优秀的扩展性和较低的延迟，但在长距离通信时信号衰减导致性能下降。

2. 双精度浮点运算性能测试

方法：

- 使用高性能计算领域的标准测试程序，如Linpack和HPLDA，评估不同拓扑结构下的双精度浮点运算能力。

- 记录每秒浮点运算次数（Floating Point Operations Per Second, FLOPS）作为评价指标。

结果：

Balance Mode：由于资源均衡分配，双精度运算性能稳定且较高。

Common Mode：受限于跨Switch通信带宽，双精度运算性能略逊于Balance Mode。

Cascade Mode：级联结构在大规模并行运算中表现出色，但信号衰减问题影响了部分远距离通信的性能。

3. 深度学习推理性能测试

方法：

- 选取常见的深度学习模型（如ResNet-50、BERT）进行推理测试。

- 使用TensorFlow和PyTorch等主流框架，记录推理时间和吞吐量。

结果：

Balance Mode：在多GPU环境下推理性能优异，适用于大规模模型训练和推理。

Common Mode：在小规模部署中表现良好，但随着GPU数量增加，性能提升有限。

Cascade Mode：在级联结构下大规模推理性能最佳，但需要优化信号传输质量以减少远距离通信带来的影响。

应用场景分析

结合上述测试结果，我们可以为不同的应用场景推荐最合适的PCIe拓扑结构。

1. 云计算与大数据分析

这类应用通常需要处理海量数据，并且对延迟敏感。Balance Mode因其高带宽和低延迟特性，成为首选拓扑结构，它能够有效支持多GPU间的高速数据传输，满足实时数据处理的需求。

2. 人工智能训练与推理

在AI训练场景下，尤其是大规模模型训练，Cascade Mode展现出强大的扩展性和并行计算能力，而在推理场景中，如果模型规模较小且对延迟要求不高，Common Mode则是一个简单且经济的选择。

3. 高性能计算（HPC）

HPC环境中的任务往往需要极高的计算密度和数据传输速率。Balance Mode和Cascade Mode都能提供优秀的性能表现，具体选择取决于任务的复杂性和规模。

4. 边缘计算与物联网（IoT）

在边缘计算场景中，设备数量多且分布广泛，Cascade Mode的级联结构能够更好地适应这种环境，提供灵活的扩展能力和较低的通信延迟。

通过对三种PCIe拓扑结构的深入研究和性能测试，我们发现每种结构都有其独特的优势和适用场景，随着PCIe技术的进一步发展和AI应用的不断深化，如何优化PCIe拓扑结构将成为提升AI服务器性能的关键因素之一，国产PCIe Switch芯片在技术创新和市场应用方面也将迎来更多的机遇和挑战，希望通过持续的研究和实践，能够为AI计算领域带来更多高效、可靠的解决方案。