近日，全球權威AI基準評測MLPerf公布了最新Inference(推理) V1.1榜單。阿裡雲震旦異構平台以穩定、強大的軟硬協同優化能力，在邊緣計算場景封閉組送出的所有三項性能結果均取得了業界第一的好成績，再續其在通用硬體平台和基準軟體基礎上軟體調優的輝煌。
MLCommons
MLPerf™是目前全球最具影響力的國際AI性能測試基準，用于測試機器學習模型和相應的軟硬體系統協同工作性能，為行業從業人員衡量系統性能提供詳細的資料參考。MLCommons組織每年交叉釋出2次MLPerf™訓練性能和2次MLPerf™推理性能榜單。
相對于五個月前釋出的推理性能V1.0榜單，此次V1.1榜單上的絕大部分系統都取得了5-30%性能提升，其中部分系統甚至達到了2倍性能提升，這也證明了軟體棧優化在AI算力優化領域的巨大潛力。
封閉組(Close Division)測試要求資料送出方使用相同AI模型和優化器，這對于實際使用者評測AI計算系統本身的性能具備很強的對比和參考意義，是以一直是MLPerf™榜單上角逐最激烈及主流廠商最關注的領域。
此次阿裡雲正是針對封閉組的嚴格要求，基于目前主流通用GPU硬體，以離線場景單卡性能成績作為基準點，送出了邊緣計算場景下目标檢測模型的全部三項性能測試資料。震旦平台對軟體棧底層算子進行了超大規模、多層次的自動融合優化，大幅提高GPU算力使用率，并有效減少記憶體帶寬占用，在所有的三個項目中，均超越了截止目前V1.1優化結果在内的業界最佳性能，最高達到14%以上。而相比較此前推理V1.0測試結果，震旦平台優化後的測試資料更是比業界最佳性能資料分别提升了21.8% (T4)、13.1% (A10) 和2.1% (A100)。
在五個月前的推理榜單V1.0中，阿裡雲主打資料中心側開放組場景，來展示震旦平台的AI全棧自動優化能力。震旦對圖像分類項的ResNet50模型進行高效、大空域的網絡架構搜尋和知識蒸餾重訓練，進而得到一個最佳适配目标GPU、且符合測試精度要求的超輕量AI模型。而此次推理V1.1榜單中，震旦通過邊緣計算封閉組場景的目标檢測項SSD-MobileNet模型來展示其另一個方面的優化潛力：即在同樣的AI模型下，震旦通過大規模、多層次的底層算子軟硬協同優化能力，大幅實作模型的性能提升。
阿裡雲送出的性能資料也同樣證明，震旦平台獨有的大規模、多層次全棧自動調優能力，不僅适用于多種AI場景下的算法模型，也為多代通用GPU架構帶來靈活的适配能力。此外，震旦平台的這種優化能力，也為未來各種AI模型在不同廠商的加速硬體架構上平滑遷移和部署打下了堅實基礎。
本次阿裡雲送出成績所使用的SSD-MobileNet模型，是目前輕量級目标檢測領域最為領先和流行的模型之一，在視訊圖像分析領域業務有着廣泛的應用，包括自動駕駛，菜鳥物流和智能交通出行等。
阿裡巴巴作為MLCommons的創始會員，一直積極參與MLPerf™性能測試。2019年11月釋出的MLPerf™推理性能測試0.5版本中，阿裡巴巴平頭哥AI晶片含光800在封閉優化規則下Resnet50基準測試中獲得單晶片性能第一。技術驅動的阿裡雲在基礎設施技術創新和前沿科技上不斷突破，堅持軟硬體協同創新，為雲計算、人工智能和物聯網提供更加先進的基礎設施，給全球消費者帶來更好的體驗。
閱讀原文