2020年12月9日，Graphcore为其最新的AI计算系统——IPU-M2000和纵向扩展的IPU-POD64发布了第一套性能benchmark。

 

 

 

在各种流行的模型中，Graphcore技术在训练和推理方面均显著优于NVIDIA的A100（基于DGX）。

 

 

 

亮点包括：

 

 

 

训练

 

EfficientNet-B4：吞吐量高18倍

ResNeXt-101：吞吐量高3.7倍

BERT-Large：与DGX A100相比，在IPU-POD64上的训练时间快5.3倍（比双DGX系统缩短2.6倍）

 

 

推理

 

LSTM：以更低时延实现吞吐量提升超过600倍

EfficientNet-B0：吞吐量提升60倍/时延缩短超过16倍

ResNeXt-101：吞吐量提升40倍/时延缩短10倍

BERT-Large：以更低的时延实现吞吐量提升3.4倍

 

 

Benchmark中包括了BERT-Large（基于Transformer的自然语言处理模型）在IPU-POD64的全部64个处理器上运行的结果。

 

 

 

BERT-Large的训练时间比最新的NVIDIA DGX-A100快5.3倍（比双DGX设置快2.6倍以上），这一结果彰显了Graphcore的IPU-POD横向扩展解决方案在数据中心的优势，以及Poplar软件栈管理复杂工作负载的能力，这些工作负载能够利用多个处理器并行工作。

 

 

 

Graphcore软件高级副总裁Matt Fyles在对测试结果发表评论时说：“这一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在许多流行模型上的性能均优于GPU。”

 

 

 

“诸如EfficientNet之类的新型模型的benchmark特别具有启发性，因为它们证明了AI的发展方向越来越倾向于IPU的专业架构，而非图形处理器的传统设计。”

 

 

 

“客户需要能够处理稀疏性以高效运行大规模模型的计算系统，而这正是Graphcore IPU所擅长的。在这种客户需求的趋势下，差距只会不断扩大。”

 

 

 

Graphcore为阿里云HALO定制代码正式在GitHub开源

 

 

 

Graphcore是阿里云HALO的合作伙伴之一，为阿里云HALO定制开发的代码odla_PopArt已经在HALO的GitHub上开源，具体请见https://github.com/alibaba/heterogeneity-aware-lowering-and-optimization

 

 

 

MLCommons

 

 

 

除了发布其AI计算系统的全面benchmark外，Graphcore还宣布，其已经加入新成立的MLPerf下属机构MLCommons，成为MLCommons的会员。

 

 

 

Graphcore将从2021年开始参加MLCommons的比较benchmark测试。更多信息，请参阅MLCommons的成立公告。

 

 

 

现已出货

 

 

 

Graphcore最新benchmark的发布与IPU-M2000和IPU-POD64系统向全球客户的推出时间刚好一致。一些早期发货的产品已经在数据中心安装并运行。