GPU 工作负载指南
GPU 租赁与购买:30 天成本框架
比较有效容量、融资、电力、散热、停机时间和转售价值——而不仅仅是显卡价格与一个月租金的对比。
由 AnchorGPU · 更新于 · 6 分钟阅读比较等效可用容量
购买价格和一个月的 GPU 租用本身无法直接比较。首先应确定一种在两种情况下都能满足相同内存、软件、吞吐量和可靠性要求的配置。应将主机 CPU、内存、存储、网络以及任何必需的互连都纳入考虑,而不是将裸加速卡与完整的租用节点进行比较。
选择一个分析周期和一份工作负载预测。对于临时实验,相关问题可能是在结果确定之前需要投入多少现金。对于周期性服务,请将空闲期、维护以及保持机器可用所需的运维工作纳入考虑。
从明确输入构建所有权成本
记录完整的购置成本、交付和安装、预期转售收益、电力、设施、维护、许可证和操作人员时间。仅在确实适用时才计入融资或其他间接费用。标注估算值,并在做出购买决定前获取真实报价。
一个简单的规划分配方式是(购置成本减去估计转售价值)除以使用月数,再加上每月运行成本。这是一种比较模型,不是会计折旧表,也不是对转售价值的预测。请以零转售价值作为下行情形来测试结果。
使用实测用电量,而非板卡标称值
以千瓦时计的能量等于以千瓦计的平均功率乘以小时数。举一个假设性例子,一个完整系统在 30 天、720 小时的周期内平均功率为 0.8 kW,则使用 576 kWh。将其乘以你自己的电价,并计入任何单独计量的冷却或设施开销。
制造商最大热设计功耗是板卡设计规格,并非整台主机的实测平均值。NVIDIA 针对不同外形规格发布了不同的 A100 功率限制;这两个值都不包含您的完整安装。如果电力对决策有实质性影响,请获取负载和空闲状态下的代表性墙插功率测量值。
将空闲时间计入两个选项
固定期限租赁按所选 7 或 30 天计费,即使工作负载已停止。将所选存储、网络和其他选项加到目录 GPU 总额中。如果作业提前完成,未使用的时间仍属于其成本的一部分。
对于所有权,应按每个有效工作负载小时计算成本,而不是假设持续利用率。例如,假设每月总成本为 $600,在 300 小时下为每个有效小时 $2,但在 60 小时下为 $10。这些是算术示例,并非当前硬件价格或 AnchorGPU 的按小时报价。
在做出承诺前对决策进行压力测试
用更少的有效使用小时数、更长的运行时间、一次维修和更低的转售价值重新计算。计入采购、配置和恢复设备所花费的时间,并检查对比是否仍能达到相同的输出质量和交付目标。
我们的建议是先测试工作负载,然后在预期的时间范围内比较完整的报价选项。租赁适合不确定或短期需求;当设施和运营能力可用时,拥有可能适合稳定、持续的工作负载。AnchorGPU 的二手列表和租赁目录仍为建模输入,并非经过验证的报价,也不保证任一选项更便宜。
来源与编辑方法
官方文档支持这些技术说明。硬件推荐是我们根据工作负载做出的解读,并非经过实测的性能保证。
EIA — 千瓦与千瓦时 ↗NVIDIA — A100 板卡规格与最大 TDP ↗