Blade Benchmark Suite(BBS)简介
-
PAI-Blade是阿里巴巴自研的通用推理优化框架,通过模型系统联合优化达到最优的推理性能,即将在公共云与大家见面。
-
为能够让您更好地了解和使用Blade优化工具,我们特别提供一个可试用、易验证的环境和若干模型,构成Blade Benchmark Suite,简称BBS。Blade BBS中共有8个不同类型的深度学习模型,涵盖图像分类、文字检测、自然语言处理等任务场景,Tensorflow、Caffe、Onnx等深度学习框架。在我们提供的docker环境中,可以通过一键式运行脚本run.sh依次进行Blade优化和若干基线测试,使用方法详见BBS使用说明。
-
具体地,我们分别对比了Tensorflow、Tensorflow xla、TensorRT、Caffe、Caffe2等不同框架的性能表现,展示了FP32、FP16、INT8等不同精度的优化情况,对应的参考性能数据和详细说明可参见BBS性能数据。