80GB内存！NVIDIA发布新A100加速卡！

NVIDIA 近期发布了采用 PCIe接口的80GB A100 加速卡。据了解，去年秋天NVIDIA首次推出基于 SXM 外形的A100加速卡，与Ampere GA100 原始型号相比，不仅扩大了总内存容量——从40GB翻倍至 80GB，而且还将内存时钟频率进一步提高了 33%。现在，经过 6 个多月的时间，NVIDIA 正在为需要独立附加卡的客户发布 PCIe 版本的加速卡。

80GB PCIe 加速卡旨在为NVIDIA 的传统 PCIe 客户提供第二个更高性能的加速卡选项，特别是对于那些需要超过 40GB GPU 内存的用户。

从更高层面来看，PCIe A100 的80GB 升级与 NVIDIA 为 SXM 版本所做的几乎相同。80GB 卡的 GPU 与 40GB 卡的 GPU 时钟相同，因此吞吐量并没有变化。

不过NVIDIA 为该卡配备了更新的HBM2E 内存。HBM2E 是 HBM2 内存标准最新更新的非正式名称，该标准在今年 2 月将新的最大内存速度定义为 3.2Gbps/pin；再加上频率的提升，制造上的改进使得内存制造商能够将内存容量翻倍，从1GB/die 增加到 2GB/die；最终可以让 HBM2E 提供更大的容量和带宽，NVIDIA 也正是利用了这两点优势。

最新的 PCIe A100 拥有 5 个 16GB 的活动堆栈，8-Hi 内存，总共为 80GB 的内存。以 3.0Gbps/pin 的速度运行，内存带宽略低于 1.9TB/秒，比 40GB 版本增加了 25%。这意味着 80GB 加速卡不仅提供了更多的本地存储，而且还提供了一些额外的内存带宽。这意味着在内存带宽受限的工作负载中，即使不使用额外的内存容量，80GB 版本也应该比 40GB 版本更快。

然而，这种额外的内存确实是有代价的——功耗。对于 80GB A100，NVIDIA 需要将功率提高到 300W，以适应更密集、更高频率的HBM2E堆栈。这是 TDP 的一个非常显著的变化，因为 NVIDIA 长期以来一直将其 PCIe 计算加速卡的功率保持在 250W，这被广泛认为是 PCIe 散热的极限。所以一张 300W 的卡不仅与 NVIDIA 过去的卡有所不同，还意味着系统集成商需要找到一种方法来为每张卡提供另外50W 的散热。估计这不会成为太多设计的障碍，但如果某些集成商因此只提供40GB 卡，我们也不会为此感到诧异。

即便如此，80GB PCIe A100 的性能似乎也有点回退。3.0Gbps内存时钟比80GB SXM A100 的3.2Gbps 内存时钟低 7%。

关于整体性能预期，新的 80GB PCIe 卡应该以与 40GB 型号类似的方式落后于 SXM 卡。由于NVIDIA 最新的 A100 数据表没有包含相对性能指标，因此我们没有关于 PCIe 卡与 SXM 卡进行比较的任何官方数据。但是考虑到TDP 差异（300W 与 400W+），预计 80GB PCIe 卡的实际性能接近 40GB PCIe 卡的 90%。这再次印证GPU 的时钟速度并不是一切，尤其是在这个 TDP 受限硬件的时代。

无论如何，80GB PCIe A100 旨在吸引与该卡的 SXM 版本相同的广泛用例，大致归结为 AI 数据集大小，并支持更大的多实例 GPU (MIG) 实例。在人工智能的情况下，有许多工作负载可以通过使用更大的数据集，缩短训练时间或提高准确性，而整体 GPU 内存容量一直是该领域的瓶颈，因为总有人可以使用更多内存。同时，NVIDIA 在 A100 上引入的 MIG 技术允许为每个实例分配更多内存；在 7 个实例上运行，每个实例现在最多可以拥有 10GB 的专用内存。

总体而言，虽然NVIDIA还没有公布具体的定价或可用性信息，客户应该很快就会看到 80GB PCIe A100 卡。