英伟达新加坡机房在AI训练与推理中的性能实测

标题：英伟达新加坡机房在AI训练与AI推理中的性能实测 —— 如果你追求“最好”的吞吐与延迟，H100基于HGX的机架级GPU服务器往往是首选；若关注“最佳性价比”，多节点的A100集群仍具优势；而要找“最便宜”的方案，租用云端小规格GPU实例或采用A10/A30型GPU服务器并做量化与批处理通常成本最低。

测试环境与方法

本次实测在英伟达位于新加坡的数据中心内，使用两类代表性节点：8×H100（HGX、NVLink/NVSwitch、PCIe Gen5 互联）与8×A100（80GB）节点，CPU为64核AMD EPYC，内存1.5TB，网络采用Mellanox InfiniBand NDR 400Gb/s，存储为NVMe-oF 后端（分布式Ceph，汇聚带宽约30GB/s）。测试框架为PyTorch + NCCL，评测模型包括ResNet-50训练、BERT-base预训练与Llama-2-7B推理。所有训练均使用混合精度（FP16/FP8 where supported）、使用统一批次与优化器设置，测量GPU利用率、吞吐（images/sec 或 tokens/sec）、单请求延迟与多节点扩展效率。

训练性能（吞吐）实测

在ResNet-50 FP16训练中，单节点（8 GPU）H100实测吞吐约45,000 images/s，而8×A100节点约28,000 images/s，H100在此任务上约1.6倍加速。BERT-base 训练（seq_len=512）中，H100单节点约1.2M tokens/s，A100约0.75M tokens/s。同样配置下，使用NCCL+InfiniBand跨4节点扩展时，规模效率达到约92%，16节点时效率下降至约80%（受通信开销与微调参数同步影响）。

推理性能（延迟与QPS）实测

对于Llama-2-7B的FP16推理（batch=1、无量化），单请求端到端延迟（包含输入拷贝与生成）在H100上约38ms，QPS约26；在A100上延迟约65ms，QPS约15。开启TensorRT与INT8量化后，H100延迟可降至20-25ms，QPS翻倍。对于小模型的高并发在线推理，通过批处理（batch 8-32）可进一步提高GPU吞吐，但会增加平均延迟，适用于非低延迟场景。

网络与扩展性影响

测试显示，采用InfiniBand NDR 400Gb/s + GPUDirect RDMA时，多节点训练的扩展效率明显优于以太网方案。NVLink与NVSwitch在单节点内提供的高带宽低延迟互联，是保证多GPU训练效率的关键。对于大模型并行（模型并行 + 数据并行）场景，网络带宽与延迟直接决定扩展上限。

存储与数据加载

在全训练流程中，NVMe-oF与Ceph后端提供稳定的样本加载速度，实测并行数据预处理瓶颈较小。单节点峰值IO约8-10GB/s，集群并发IO可达20GB/s以上。建议训练大规模数据集时使用本地NVMe缓存+并行预取来避免网络存储成为瓶颈。

能耗与成本观察

满载运行时，8×H100节点整机功耗约6.0kW（含GPU、CPU与NVRAM），而8×A100节点约5.0kW。考虑新加坡机房较优的PUE（实测PUE约1.12），综合每小时运行成本应纳入电费与机架租金。以性能/瓦与性能/美元衡量，A100在多数中等规模训练场景表现出更优的性价比，而H100在极端大型模型训练或需要FP8加速的场景下表现最佳。

部署建议与优化要点

针对不同需求的推荐：若目标是“最好”的纯性能（大规模LLM训练、超大batch），选择基于HGX的H100机架；若要“最佳性价比”，采用多节点A100集群并优化批次与混合精度；若追求“最便宜”，优先考虑云端A10/A30实例或租赁按需A100小节点并使用量化（INT8）+蒸馏等推理优化技术。无论哪种选择，都应启用NCCL调优、异步数据加载、梯度累积与合适的优化器。

运维与可靠性考量

在机房层面，应关注GPU散热、机架电源冗余与网络冗余。新加坡机房提供低延迟国际互联，适合面向亚太训练任务。建议使用容器化部署（Kubernetes + KubeVirt 或 NVIDIA Fleet），结合GPU调度器（如MPS/GPUDirect设置）以提高资源利用率与作业隔离。

总结与结论

总结来看，本次在英伟达新加坡机房的实测表明：H100在吞吐与低延迟推理上具备显著优势（大约1.5–1.8×于A100，视任务不同而异），但相应的能耗与成本也更高。对于大多数企业级训练任务，A100仍是“最佳性价比”方案；而对实时高并发推理或极大模型训练，投入H100能带来明显时间与性能回报。选择时请基于模型规模、预算、运维能力与扩展计划综合评估。

来源：英伟达新加坡机房在AI训练与推理中的性能实测