H200 SXM
LLM 推理 · AI 模型微调
H200 SXM vs MI300X
在选择 NVIDIA H200 SXM 和 AMD Instinct MI300X 之前,比较显存、节点配置及固定的周度和月度费用。
MI300X 每张卡提供 51多 GB VRAM。MI300X 每个 30 天期限的成本低 $560 。请根据内存余量还是较低的固定成本是约束条件来选择。
| 规格 | H200 SXM | MI300X |
|---|---|---|
| 架构 | Hopper | CDNA 3 |
| VRAM | 141 GB HBM3e | 192 GB HBM3 |
| 主机资源/卡 | 24 vCPU · 192 GB 内存 | 28 vCPU · 256 GB 内存 |
| 本地 NVMe / 卡 | 3.84 TB | 3.84 TB |
| 7 天价格 / 卡 | $512 | $360 |
| 30 天价格 / 卡 | $1,832 | $1,272 |
| 4-GPU 节点 / 30 天 | $6,742 | $4,681 |
| 目录数量 | 265 张显卡 | 430 张显卡 |
工作负载决策 · 更新于 2026-09-04
H200 在 Hopper CUDA 平台上提供 141 GB;MI300X 在 AMD 的 ROCm 平台上提供 192 GB。更大的内存可以简化模型布局,而保留已经验证的软件栈可以减少迁移工作。
当应用依赖仅 CUDA 支持的扩展、经过 Hopper 验证的容器或尚未在 ROCm 上获得认证的 NVIDIA 库时,请选择 H200。与 80 GB 卡相比,更大的内存容量可能减少分片需求。
当 192 GB 可以避免多 GPU 拆分,且完整工作负载已在 ROCm 上通过测试时,选择 MI300X。验证服务或训练后端、自定义操作、注意力内核和量化格式,而不仅仅是成功的 PyTorch 导入。
| 制造商规格 | H200 SXM | MI300X |
|---|---|---|
| 架构 | NVIDIA Hopper | AMD CDNA 3 |
| 显存 | 141 GB HBM3e | 192 GB HBM3 |
| 公布的内存带宽 | 4.8 TB/s | 5.3 TB/s 峰值理论值 |
| 主要软件栈 | CUDA | ROCm |
| 参考加速器互连 | HGX 系统中的 NVLink | MI300X 平台中的 Infinity Fabric |
已发布的加速器规格,并非对 AnchorGPU 基础设施的测量。主机拓扑和实际提供的互联结构必须另行确认。
结论。 若需依赖 CUDA 的连续性,优先选择 H200。当经过验证的 MI300X 路径和更大的单加速器内存能降低应用复杂度时,评估 ROCm。
目录成本差异:每 7 天 $152,每 30 天 $560。价格读取自与配置器相同的目录。
制造商规格为比较提供参考。建议取决于工作负载;不声称任何 AnchorGPU 性能基准。
NVIDIA H200 规格 ↗AMD MI300X 规格 ↗PyTorch 在 ROCm 上 ↗