Deep Analysis

HPE Cray GX5000 and AMD Helios Architecture Deep Dive: How 81,920 Cores Per Rack Density Revolution Defines Trillion-Parameter AI Training Infrastructure

HPE Cray GX5000 and AMD Helios Architecture Deep Dive: How 81,920 Cores Per Rack Density Revolution Defines Trillion-Parameter AI Training Infrastructure

一、产品/技术事件回顾

2026年7月23日,在旧金山举办的AMD Advancing AI 2026大会上,HPE正式发布了Cray Supercomputing GX5000——一款搭载第6代AMD EPYC处理器的下一代超算系统。此次发布恰逢AI基础设施需求从千亿参数模型训练向万亿参数规模演进的关键节点,AMD CEO苏姿丰在主题演讲中透露,过去两年中AI每月Token消耗量已增长158倍,推理占AI工作负载的比例从2024年的40%上升到2026年的60%。

GX5000构建在前代HPE超算架构的成功基础之上——该架构曾打破百亿亿次速度屏障,并在全球最快超算TOP10中占据主导地位。GX5000的设计目标是支持融合HPC工作负载(如建模和仿真)与AI,加速药物发现、气候预测和材料科学等领域的科学发现。系统还支持日益增长的安全多租户能力需求,在管理用户控制的同时支持访问以促进协作。

此次发布的另一个核心组成部分是HPE与AMD合作的Helios AI机柜级系统。Helios代表了为万亿参数模型时代和大规模AI环境设计的新一代AI基础设施,提供260 TB/s的scale-up带宽和2.9 EFLOPS的FP4性能。该系统采用基于开放UALoE(Ultra Accelerator Link over Ethernet)标准的HPE Juniper Networking硬件和软件,是业界首个使用基于标准的以太网来加速AI训练和推理性能的方案。

GX5000的早期采用者包括美国橡树岭国家实验室(ORNL)和德国斯图加特大学高性能计算中心(HLRS)。ORNL将部署名为"Discovery"的GX5000系统作为下一代百亿亿次超算,支持融合仿真和AI工作负载、AI模型开发训练,并作为量子计算试验台。HLRS将部署名为"Herder"的旗舰系统,预计性能为当前超算的7倍。ORNL、HPE和AMD还在建造专用AI系统"Lux",使用第6代AMD EPYC处理器加速AI开发,作为美国Genesis Mission的一部分加强国家安全和竞争力。

二、技术架构纵深

双刀片架构设计

GX5000提供两种刀片选项以支持传统超算工作负载和AI能力的不同需求:

GX350a加速刀片:混合精度计算刀片,将1个第6代AMD EPYC处理器与4个AMD Instinct MI430X GPU结合,每机柜支持最多112个AMD GPU。这种4:1的GPU-CPU比例专为AI模型开发、训练和调优等工作负载优化,适合需要大量矩阵运算的深度学习任务。

GX250计算刀片:CPU-only刀片,针对双精度工作负载设计,配备8个第6代AMD EPYC处理器。单个机柜可容纳40个节点,支持81,920个CPU核心的极致密度。这种8:0的CPU-only配置适合建模和仿真等传统HPC工作负载,这些工作负载对双精度浮点性能的要求高于AI工作负载。

graph TB subgraph HPE Cray GX5000 Architecture A["HPE Cray Supercomputing GX5000"] --> B["GX350a Accelerated Blade"] A --> C["GX250 Compute Blade"] B --> D["1x AMD EPYC 9006"] B --> E["4x AMD Instinct MI430X"] B --> F["112 GPUs per rack"] B --> G["Mixed-Precision AI Workloads"] C --> H["8x AMD EPYC 9006"] C --> I["40 nodes per rack"] C --> J["81,920 CPU cores per rack"] C --> K["Double-Precision HPC Workloads"] L["100% Direct Liquid Cooling"] --> B L --> C L --> M["40C Warm Water Capacity"] L --> N["25% Less Floor Space"] L --> O["25% Operational Efficiency Gain"] P["AMD Helios Rack-Scale System"] --> Q["260 TB/s Scale-Up Bandwidth"] P --> R["2.9 EFLOPS FP4 Performance"] P --> S["HPE Juniper Networking"] P --> T["UALoE Ethernet Standard"] P --> U["Trillion-Parameter Model Training"] V["Integrated System"] --> W["CPU + GPU + Storage"] V --> X["Networking + Software"] V --> Y["Direct Liquid Cooling"] V --> Z["Secure Multi-Tenant"] end

核心参数表

参数维度GX350a加速刀片GX250计算刀片AMD Helios系统
处理器1x AMD EPYC 90068x AMD EPYC 9006AMD EPYC + Instinct
GPU4x AMD Instinct MI430X多代Instinct GPU
每机柜密度112 GPU81,920 CPU核心机柜级集成
计算精度混合精度(FP4/FP8/FP16)双精度(FP64)FP4峰值性能
Scale-up带宽通过Helios通过Helios260 TB/s
FP4性能--2.9 EFLOPS
网络标准UALoEUALoEUALoE Ethernet
冷却方式直接液冷直接液冷直接液冷
液冷水温最高40°C最高40°C最高40°C
空间节省25% vs 前代25% vs 前代-
目标工作负载AI训练/推理建模/仿真万亿参数训练
多租户支持支持支持

40°C直接液冷技术

GX5000的下一代直接液冷技术是密度革命的关键使能器。传统风冷数据中心在芯片功耗超过400W时面临散热瓶颈,而AI加速器(如MI430X)的功耗已远超这一阈值。GX5000的100%直接液冷设计将设施水温提升至40°C,相比传统液冷的25-30°C进水温度有显著提升。

40°C水温的技术意义不仅在于散热效率,更在于数据中心的整体能效。更高的供水温度意味着:1)制冷机组效率提升(蒸发温度更高);2)可使用自然冷却(free cooling)的时间更长;3)余热回收利用价值更高。HPE声称这带来了25%的运营效率提升和25%的 floor space 减少。与传统风冷相比,直接液冷还消除了风扇功耗(通常占数据中心总功耗的10-15%),进一步降低PUE。

UALoE开放以太网标准

AMD Helios系统采用的UALoE(Ultra Accelerator Link over Ethernet)标准是本次发布中最具战略意义的技术决策。UALoE是业界首个使用基于标准的以太网来加速AI训练和推理性能的方案,打破了NVIDIA NVLink/NVSwitch的专有互联锁定。

260 TB/s的scale-up带宽使Helios能够在机柜内实现GPU间的高速通信,这对于万亿参数模型的并行训练至关重要。传统上,这一性能层级只有NVIDIA的NVSwitch架构能够实现。UALoE的开放性意味着网络设备厂商可以基于标准以太网芯片构建兼容设备,降低了AI训练基础设施的供应商锁定风险。HPE Juniper Networking的硬件和软件基于UALoE标准构建,将Helios从架构设计转化为生产就绪平台。

三、产品/方案逻辑分析

密度优先的设计哲学

GX5000的核心设计逻辑是"密度优先"——在有限的数据中心空间内最大化计算能力。81,920核/机柜的密度相比市场次高产品(Supermicro Flex Twin的49,152核)高出40%,这一优势直接转化为:1)每平方英尺计算能力提升;2)网络布线距离缩短降低延迟;3)液冷管路集中提高散热效率;4)管理节点减少降低运维复杂度。

密度优先策略的底层逻辑是AI数据中心的空间和功耗约束。一个1GW规模的AI数据中心(如Meta在El Paso的设施)的土地和电力资源有限,在有限资源内最大化计算密度直接决定了AI模型的训练速度和迭代效率。HPE将GX5000定位为"完全集成系统"——涵盖CPU、加速器、存储、网络、软件和100%直接液冷——正是为了在系统层面优化密度而非组件层面。

开放标准vs专有锁定

UALoE标准的选择反映了HPE和AMD对AI基础设施市场格局的战略判断。当前NVIDIA通过CUDA软件栈和NVLink/NVSwitch硬件互联构建了深度护城河,使得迁移到替代方案的转换成本极高。HPE和AMD选择以开放以太网标准作为突破口,意在:1)降低AI训练基础设施的入门门槛;2)吸引更多网络设备厂商构建兼容生态;3)为政府和企业客户提供避免供应商锁定的替代选择。

这一策略与Arm在HPC领域的成功路径相似——Arm Neoverse通过开放架构和3x能效优势,已在TOP500和Green500中占据领先位置。AMD的ROCm开放软件栈配合UALoE开放网络标准,正在构建一个从软件到硬件的完整开放AI训练栈,直接对标NVIDIA的CUDA+NVLink封闭栈。

HPC-AI融合架构

GX5000的双刀片设计体现了HPC和AI工作负载融合的趋势。传统HPC工作负载(如计算流体力学、天气建模和分子动力学)依赖双精度浮点性能,而AI工作负载(如模型训练和推理)依赖混合精度性能。GX250计算刀片服务前者,GX350a加速刀片服务后者,两种刀片可以在同一GX5000机柜内混合部署。

这种融合架构的实际价值在于:1)科学发现流程从纯仿真向"仿真+AI"混合模式演进;2)AI模型训练需要HPC级别的数据预处理和后处理;3)超算中心需要在传统HPC用户和AI用户之间动态分配资源。ORNL的Discovery系统正是这种融合的典型用例——支持混合仿真和AI工作负载,同时作为量子计算试验台。

四、竞争对比矩阵

AI训练基础设施对比

对比维度HPE Cray GX5000 + AMD HeliosNVIDIA GB200 NVL72NVIDIA Vera Rubin NVL72Meta Hyperion (Blue Owl)
CPUAMD EPYC 9006 (81,920核/机柜)NVIDIA Grace (Arm)NVIDIA Vera (Arm)多厂商
GPU/AI加速器AMD Instinct MI430XNVIDIA Blackwell B200NVIDIA Rubin多厂商
Scale-up互联UALoE (开放以太网)NVLink/NVSwitch (专有)NVLink/NVSwitch (专有)多厂商
Scale-up带宽260 TB/s未公开(估计~900 GB/s/GPU)未公开多厂商
FP4性能2.9 EFLOPS未公开未公开-
液冷技术100%直接液冷 40°C直接液冷直接液冷直接液冷
每机柜GPU数112 (GX350a)7272-
软件栈ROCm (开放)CUDA (专有)CUDA (专有)多厂商
网络标准开放UALoENVSwitch专有NVSwitch专有开放
目标场景HPC+AI融合纯AI训练纯AI训练AI训练
投资规模ORNL Discovery(政府)企业+云企业+云27B bonds
生态开放性高(UALoE+ROCm)低(NVIDIA专有)低(NVIDIA专有)中(多厂商)

竞争态势分析

vs NVIDIA GB200 NVL72:NVIDIA的GB200 NVL72系统是目前AI训练基础设施的标杆,72个Blackwell B200 GPU通过NVSwitch互联。NVIDIA的优势在于CUDA软件栈的成熟度和生态广度,以及NVLink的超低延迟。但HPE+AMD的UALoE方案提供了开放标准替代路线,260 TB/s的带宽在理论值上具有竞争力。关键差距在于软件生态——ROCm虽然在快速追赶CUDA,但在框架支持深度和开发者社区规模上仍有差距。

vs NVIDIA Vera Rubin NVL72:Vera Rubin是NVIDIA的下一代AI训练平台,HPE已宣布将提供搭载Vera Rubin NVL72的机柜级系统。这意味着HPE同时在NVIDIA和AMD两条路线上布局——既支持NVIDIA专有互联生态,又通过UALoE支持AMD开放标准路线。这种双轨策略使HPE能够服务不同客户偏好,但也需要在两条技术路线上投入研发资源。

vs Meta Hyperion:Meta的Hyperion园区采用Blue Owl Capital融资模式(27B美元项目债券),与HPE+AMD的技术路线不同。Meta的设施更偏向通用AI训练而非HPC-AI融合,且采用多厂商设备策略。HPE+AMD的优势在于系统级集成度和UALoE开放标准,而Meta的优势在于规模和资本效率。

vs Arm Neoverse生态:Arm Neoverse-based的NVIDIA Grace系统在Green500能效排名中占据前四位置,展示了3x能效优势。AMD EPYC的x86架构在软件兼容性上有优势,但在能效比上面临Arm的长期压力。HPE同时支持AMD EPYC和NVIDIA Grace(Vera CPU),在CPU架构层面也采取了双轨策略。

五、挑战与风险

ROCm软件生态差距

AMD ROCm开放软件栈虽然在快速追赶NVIDIA CUDA,但在以下方面仍存在显著差距:1)深度学习框架的算子覆盖完整性——部分高级算子在CUDA中有优化实现但在ROCm中尚无;2)开发者社区规模——CUDA拥有数百万开发者,ROCm社区仍在成长期;3)第三方库和工具链——CUDA生态中有大量优化库(如cuDNN、TensorRT),ROCm的对应生态(如MIOpen、ROCm MIGraphX)在功能完整性和性能优化上仍在追赶。这意味着从CUDA迁移到ROCm的AI训练代码可能需要额外优化工作。

UALoE生态成熟度

UALoE作为开放标准虽然理念先进,但其生态成熟度面临挑战:1)网络设备厂商需要时间开发兼容产品——目前仅HPE Juniper Networking提供UALoE设备;2)标准本身的演进速度——UALoE规范需要与NVIDIA NVLink的技术迭代保持同步,否则在性能上可能落后;3)大规模部署验证——UALoE目前缺乏像NVLink那样的大规模生产部署案例来验证其可靠性和性能。ORNL Discovery和HLRS Herder的部署将是UALoE的重要验证机会。

AMD Instinct GPU竞争力

MI430X GPU的性能和能效直接决定了GX350a加速刀片的竞争力。NVIDIA Blackwell B200在FP4精度下的性能和内存带宽方面建立了很高的标杆。AMD需要在芯片架构层面提供有竞争力的性能,同时在供应能力和良率方面满足大规模部署需求。如果MI430X的性能或供应出现问题,整个GX5000的AI训练价值主张将受到削弱。

液冷基础设施改造

40°C直接液冷虽然带来了显著的能效和密度优势,但要求数据中心进行基础设施改造:1)需要安装液冷分配单元(CDU)和二次冷却回路;2)老旧数据中心的 floor loading 可能无法承受液冷系统的重量;3)液冷系统的维护需要专门的技能和工具。这些改造的资本支出和时间成本可能成为客户采用GX5000的障碍,特别是对于中小型计算中心。

政府依赖风险

GX5000的早期采用者主要是政府资助的国家实验室(ORNL、HLRS),这意味着产品初期的高度依赖政府采购。政府预算的波动性和政策变化可能影响后续订单。虽然HPE也在拓展企业客户,但企业AI训练市场目前被NVIDIA生态深度占据,HPE+AMD需要时间和投入来建立企业市场份额。

六、结论与建议

核心判断

HPE Cray GX5000与AMD Helios的组合代表了AI训练基础设施领域的一次重要架构创新。81,920核/机柜的密度革命直接回应了AI数据中心空间和功耗约束的挑战,40°C直接液冷技术重新定义了数据中心热管理范式。UALoE开放以太网标准是本次发布中最具战略意义的技术决策——它打破了NVIDIA NVLink的专有互联锁定,为AI训练基础设施提供了基于开放标准的替代路线。双刀片设计(GX350a+GX250)精准匹配了HPC-AI融合的工作负载演进趋势。

选型建议

对于国家级超算中心和政府实验室:GX5000的HPC-AI融合架构和安全多租户能力使其成为百亿亿次超算的理想选择。ORNL Discovery和HLRS Herder的部署案例提供了可靠的参考。建议重点评估UALoE网络在大规模部署中的性能一致性和可靠性,以及直接液冷对设施改造的要求。

对于AI前沿实验室:AMD Helios系统的2.9 EFLOPS FP4性能和260 TB/s带宽使其成为万亿参数模型训练的有力候选。但需仔细评估ROCm软件栈对目标模型架构的支持深度,以及从CUDA迁移的工程成本。建议在非关键路径工作负载上先行验证ROCm兼容性。

对于企业AI基础设施团队:GX5000的企业适用性取决于UALoE生态的成熟速度和MI430X GPU的供应稳定性。建议关注HPE ProLiant Gen12服务器作为更贴近企业需求的AMD EPYC平台入口,同时在AI训练需求增长时考虑GX350a加速刀片的增量部署。

未来展望

UALoE开放标准的成功与否将决定AI训练基础设施市场的竞争格局。如果UALoE在未来18个月内获得足够多的网络设备厂商支持,将形成与NVIDIA NVLink/NVSwitch的双轨竞争,降低AI训练基础设施的供应商锁定风险。40°C直接液冷将成为新建AI数据中心的标配要求。HPC-AI融合架构将从国家实验室向企业研发中心扩散。AMD EPYC与Arm Neoverse的CPU架构竞争将在能效比维度加深,最终可能推动x86和Arm在AI训练基础设施中的共存格局。

🎯

Why it Matters

As AI model parameters scale from hundreds of billions to trillions, traditional supercomputer architectures face triple bottlenecks in core density, power, and cooling. GX5000s 81,920 cores per rack elevates compute density to new levels, while 40C direct liquid cooling fundamentally redefines data center thermal management. AMD Helios 260 TB/s scale-up bandwidth and UALoE open standard break NVIDIA NVLinks proprietary interconnect lock-in, providing an open-standard alternative for AI training infrastructure. This has structural implications for the AI infrastructure competitive landscape: the HPE+AMD alliance is building a technology path alternative to the NVIDIA GB200 NVL72 ecosystem.

PRO

DECISION

For AI labs running trillion-parameter model training, the HPE Cray GX5000 + AMD Helios combination provides a high-performance non-NVIDIA alternative. The GX350a accelerated blade with 4:1 GPU-CPU ratio suits mixed-precision AI training, while the GX250 compute blade with 8:0 CPU configuration suits double-precision scientific computing. Technical decision makers should evaluate UALoE network compatibility with existing infrastructure, 40C liquid cooling facility requirements, and AMD ROCm software stack migration costs from CUDA. ORNL Discovery and HLRS Herder deployments serve as reference benchmarks.

🔮 PRO

PREDICT

The UALoE open Ethernet standard will gain support from more network equipment vendors within 18 months, forming competition with NVIDIA NVLink/NVSwitch. 40C direct liquid cooling will become standard for new AI data centers, accelerating retirement of older air-cooled facilities. AMD Helios success will accelerate the paradigm shift from proprietary GPU interconnects to open Ethernet scale-up. CPU density competition will evolve from core count to energy efficiency, where Arm Neoverse 3x efficiency advantage will pressure AMD EPYC x86 architecture long-term.

Get 3-5 key AI infrastructure signals weekly →

💬 Comments (0)