随着人工智能的飞速发展,GPU的应用越来越多,作为GPU承载的服务器也变得愈发关键。本文将基于不同GPU应用场景的需求,探讨GPU服务器的选型策略,以帮助用户更好地满足业务需求。
一、关于GPU与CPU的拓扑连接
GPU服务器的拓扑结构主要分为HPC(高性能计算)拓扑和AI拓扑(串联,并联)三种。HPC拓扑(如下图)在CPU利用率最大化、高上行链路带宽方面具有优势,但在P2P(点对点)带宽方面相对受限,适用于大数据且算法模型较小的场景。相比之下,AI拓扑通过优化CPU与GPU之间的通信带宽,以及GPU之间的P2P通信带宽,更适合于模型算法较大、对P2P带宽要求较高的场景。