NVIDIA (英伟达) 今日宣布旗下的人工智能 (AI) 运算平台，再度于最新的MLPerf性能基准测试中刷新性能记录。
在第二版的MLPerf Inference基准测试中，NVIDIA在数据中心和边缘运算系统的六项应用领域中的每一项测试均夺下冠军。这次在既有的两项计算机视觉测试外，又另外加入四个测试项目，含括发展最快的AI领域──推荐系统、自然语言理解、语音识别及医疗图片。
多个产业的组织早已运用NVIDIA A100 Tensor Core GPU的推论性能，将AI从研究单位带入日常运营内。金融机构使用对话式AI以更快速地回答客户的问题；零售商运用AI维持股架上的库存；医疗服务供应商通过AI分析数百万张医疗图片，以更准确地识别疾病并帮助拯救生命。
NVIDIA加速运算部门副总裁暨总经理Ian Buck表示：“我们正处于一个转折点，各行各业都想找出更好的办法来应用AI技术，以提供新的服务和拓展业务。我们投入许多心力，在MLPerf基准测试取得佳绩，进一步提升企业的AI性能以改善我们的生活。”
最新的MLPerf结果出炉之际，NVIDIA涉足AI推论领域的范围也急剧增长。五年前只有少数引领业界的高科技公司将GPU用于推论作业；如今NVIDIA的AI平台可通过各大云计算与数据中心基础设施供应商取得，各行各业的公司都能使用NVIDIA的AI推论平台提升其业务运营的表现，并提供额外的服务。
此外，NVIDIA GPU目前在公有云环境中提供AI推论的能力也首度超越CPU。NVIDIA GPU上的云计算AI推论运算量约每两年增长十倍。
NVIDIA让AI推论能力更上一层楼
NVIDIA与其合作伙伴提交的MLPerf 0.7基准测试成绩是通过NVIDIA的加速平台而得，其中包括NVIDIA的数据中心GPU、边缘AI加速器及NVIDIA优化软件。
NVIDIA在今年稍早推出搭载第三代Tensor Cores及多执行实例GPU技术的NVIDIA A100，在ResNet-50测试扩大了其领先优势。在最新一次的测试中，A100以30倍的优势击败了CPU系统，而在上一轮的测试成果中则为六倍。根据MLPerf Inference 0.7基准测试，A100在新加入的数据中心推论推荐系统测试中，较最新的CPU性能高出237倍。
这代表一台NVIDIA DGX A100系统就能提供约1,000台双插槽CPU服务器一样的性能，这让客户在将他们的AI推荐系统模型从研究投入生产时，提供极高的成本效益。
此基准测试也显示，NVIDIA T4 Tensor Core GPU对于主流企业、边缘服务器和高成本效益云计算执行实例而言，依然是可靠的推论平台。在同样的测试中，NVIDIA T4 GPU的表现比CPU高出28倍。此外，NVIDIA Jetson AGX Xavier是系统单芯片边缘设备中性能的佼佼者。
要有高度优化的软件堆栈才能达到如此优异的性能表现，包括NVIDIA TensorRT推论优化器与NVIDIA Triton推论服务软件，这两个软件都可以在NVIDIA的软件目录NGC中取得。除了NVIDIA自己提交的成果，NVIDIA的11个合作伙伴也使用NVIDIA GPU提交共1,029项成果，占数据中心与边缘类别提交总数的85%以上。