之前给大家介绍过《Meta的GB200液冷AI服务器 - Catalina》，今天再分享一下基于x86开放平台的HGX B200服务器。
如下图，NVIDIA的HGX B200 8-GPU模组早已不是新闻了，这张照片引用自国外网站在OCP 2024峰会期间的报道。
与前一代DGX/HGX模组也就是Hopper相比，新一代Blackwell只在HGX B200这块板的中央放了2颗NVSwitch交换芯片，负责8颗GPU之间的Scale-up互连。
这张标贴上的示意图，就来自我今天要介绍的HGX B200服务器。
不难看出，铜质冷板应该是覆盖了全部8颗1000W功耗的B200和2颗NVSwitch芯片。液冷的一个好处就是高密度，比如风冷的DGX B200需要10U机箱，而使用上方模组的HGX B200服务器只要4U就可以。
上图截自PowerEdge XE9680风冷服务器的文档，可以看到左下方有4个高高的散热片——下面压着的就是NVSwitch。
上图我在《AI集群Scale-Up互连：展望UALink与NVLink的竞争》一文中也引用过。虽然DGX H100的4颗NVSwitch具备将NVLink对外连接到交换机的Scale-up扩展能力，但我看到一些服务器厂商却并没有把接口做出来。
其中原因在这里先不展开讨论了。因为H20的时代，算力被砍了——主要是用于推理，单机内部NVLink能容纳DeepSeek 671B这样的大模型就好。跨服务器之间的互连可以用Scale-out网络。
可能大家对H20的后续产品感兴趣。无论叫B20、B40、6000D啥的，估计功耗没有B200的1000W那么高，对液冷的依赖程度也会降低吧？
这是Dell最近公布的一些产品计划，个人感觉下一批“China版本GPU”可能还是风冷的机型比如XE9780/XE9785更受青睐些？如果有RTX Pro 6000也出降频版本的话，那PCIe卡的平台XE7745现成可用。如果您觉得我写的有点道理，那么其他品牌也可以此类推对应的机型。
扩展阅读《DeepSeek时代：关于AI服务器的技术思考（PCIe篇）》
我还看到 “Dell PowerEdge XE9785 and XE9785L servers with AMD InstinctTM MI350 Series GPUs will be available in 2H 2025”
——引用自 https://www.dell.com/en-us/dt/corporate/newsroom/announcements/detailpage.press-releases~usa~2025~05~dell-technologies-fuels-enterprise-ai-innovation-with-infrastructure-solutions-and-services.htm
下面还是先回到当前已发布的XE9685L，我曾在《风冷、液冷GPU服务器密度提升 - PowerEdge 17G整机架预览 (2)》中也提到过这款机型。
PowerEdge XE9685L 是戴尔最新推出的基于 AMD 平台的 2 路 4U 直接液冷机架式服务器，专为 AI/ML 和高性能计算 (HPC) 工作负载设计。
该系统的主要特性包括：
· 搭载两颗第五代 AMD EPYCTM 9005 系列处理器，每颗处理器最高支持 192 个核心。
· 24 个 DDR5 DIMM 插槽，提供高带宽内存支持。
· 6 个 3000W 钛金级 AC 电源，支持 3+3 容错 (FTR) 和 5+1 冗余策略，适用于配备 NVIDIA HGX B200 SXM6 GPU 的系统。
· 顶部配备 6 个高性能 CPU 散热风扇，底部配备 6 个高性能 GPU 散热风扇，确保高效散热。
· 最多 12 个 PCIe Gen5 插槽，支持最新 PCIe Gen5 设备和网络设备，提供灵活的网络设计。
· 最多 8 个 U.2 NVMe SSD 硬盘（PSBB 直连），提供高速存储性能。
· 8 个 NVIDIA HGX B200 GPU，配备 PCIe Gen5 模块，增强 AI、大语言模型 (LLM) 训练、微调、推理以及高性能计算能力。
我先数了一下冷板液冷的进出管路——一共是6对，只有1对用于2颗CPU（最高共1000W），剩下5对是用于8个GPU（满载共8000W）和NVSwitch。
红框标出的部分，是服务器主板扩展出来的接口，包括网卡和管理等。
虽然机箱宽度仍是19英寸，但XE9685L的机身深度比较长——1001.57mm。上图可以看到红框部分的PDB电源分配板；CPU和内存还在导风罩的覆盖下。
参考上一篇《1U 2000W高密度CPU服务器：风液混合散热 & Open Rack 50V供电》，power distribution board在这里应该也是用于将48-54V直流供电转换为12V。XE9685L带了6个3000W交流电源模块，但由于支持HGX GPU模组的原因，应该还是要先统一转换为48-54V。（这里如果我理解有误，请读者朋友在下面留言指正。谢谢）
现在可以看到CPU散热器和内存了吧：）
位于2颗AMD EPYC 9005系列处理器上的冷板液冷吸热片
如上面示意：左边是后视图，右边是顶视图——又分为上半部分（2U高度，包括主板、CPU、内存、Power Supply等）和下半部分（也是2U，主要是GPU模组，以及PCIe扩展板）。这里可以留意下12个蓝色风扇的位置，以及风冷的辅助散热。
我用红框标出的位置，就是4颗PCIe Switch，旁边加高的“散热塔”下面应该没有芯片——只是用热管拓展出去的鳍片部分。看来PCIe Switch的功耗也不低，前面一张图的7-12风扇要照顾它们以及PCIe板卡。
您能看到主板上BMC芯片的位置吗：）
由于机箱长度的原因，XE9685L的主板（也是OCP MHS规范尺寸）与后端的OCP网卡之间应该是加了一段延长的PCB。
如上图，这块rear I/O板引出的是管理口，但BMC主控却不在小板上面，估计是为了沿用之前XE9680等的连接器（如下图）。像我上一篇写的PowerEdge M7725，就改成DC-SCM标准化BMC管理模块了。
参考资料
https://dl.dell.com/content/manual46895313-dell-poweredge-xe9685l-installation-and-service-manual.pdf?language=en-us
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文。感谢您的阅读和支持！