2019年11月6日，NVIDIA公布其在最新测定数据中心与边缘AI推理工作负载性能的基准测试中取得最快成绩。NVIDIA在前不久的AI训练基准测试中也展现出同样强大的实力，为此次获胜奠定了基础。
MLPerf Inference 0.5是业内首个独立AI推理基测套件，其测试结果证明了NVIDIA Turing™数据中心GPU以及 NVIDIA Xavier™ 边缘计算芯片系统的性能。
MLPerf的五项推理基准适用于一系列形式因素和四种推理场景，涵盖了图像分类、目标检测和翻译等已有的AI应用。
凭借Turing GPU所提供的目前市面上单处理器最高的性能，NVIDIA 在全部五项针对于两种数据中心关注的场景（服务器和离线）的基准测试中均排在首位1。Xavier则是市面上针对两种边缘场景（单流和多流）性能最高的边缘和移动芯片系统2。
NVIDIA副总裁兼加速计算总经理Ian Buck表示：“AI正处于从研究阶段迅速转向大规模实际应用部署的临界点。AI推理是一项巨大的计算挑战。NVIDIA将业内最先进的可编程加速器CUDA-X AI算法套件与我们在AI计算领域的深厚知识相结合，能够帮助数据中心部署庞大且正在不断增长的复杂AI模型。”
由于重视其计算平台在各种AI工作负载中的可编程性与性能，因此NVIDIA是唯一一家提交了全部五项MLPerf基准测试结果的AI计算平台公司。此前七月，NVIDIA就曾在多项MLPerf 0.6 AI训练基准测试结果中胜出，在训练性能方面创造了八项纪录。
NVIDIA GPU在全球最大的云基础设施中为大型推理工作负载提供加速，这些云基础设施包括阿里云、AWS、谷歌云平台、微软Azure和腾讯等。目前，AI正在朝操作和数据生成点的边缘移动。沃尔玛、宝洁等全球首屈一指的企业和机构正使用NVIDIA EGX边缘计算平台与AI推理能力在边缘运行复杂的AI工作负载。
NVIDIA的所有MLPerf测试结果均采用NVIDIA TensorRT™ 6 高性能深度学习推理软件获得。该软件能够在生产中轻松优化和部署数据中心、边缘等位置的AI应用。此外，GitHub库还以开源形式提供新的TensorRT优化。

全新Jetson Xavier NX
为了扩展其推理平台，NVIDIA于今日宣布推出了Jetson Xavier NX。Jetson Xavier NX是全球体积最小、性能最强大的适用于边缘机器人和嵌入式计算设备的AI超级计算机，它是围绕MLPerf Inference 0.5基准测试中所使用的Xavier芯片系统所打造的低功耗版本。

注：
1. MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-15,Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21. Inf-0.5-22, Inf-0.5-23, Inf-0.5-27. Per-processor performance is calculated by dividing the primary metric of total performance by number of accelerators reported.
2. MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-24, Inf-0.5-28, Inf-0.5-29.