是商湯基于自研高性能算子庫的開源深度學習推理平台，能夠讓人工智能應用高效可靠地運作在現有的 CPU、GPU 等計算平台上，為雲端場景提供人工智能推理服務。
官網：
openppl.ai在剛剛舉行的 2021 世界人工智能大會（WAIC）上，商湯科技正式推出 OpenPPL 計劃 —— 決定将深度學習推理部署引擎 SensePPL 中雲端推理的能力開源給技術社群，進而加速 AI 技術的普及與進步！
▎把推理交給 OpenPPL，把時間還給思考
OpenPPL 基于全自研高性能算子庫，擁有極緻調優的性能；同時提供雲原生環境下的 AI 模型多後端部署能力，并支援 OpenMMLab 等深度學習模型的高效部署。
一、高性能
設計微架構友好的任務/資料/指令等多級并行政策，自研 NV GPU、 x86 CPU 計算庫，滿足部署場景對神經網絡推理、常用圖像處理的性能需求
- 支援 GPU T4 平台 FP16 推理
- 支援 CPU x86 平台 FP32 推理
- 核心算子優化，平均性能領先業界
二、OpenMMLab 部署
支援 OpenMMLab 檢測、分類、分割、超分等系列前沿模型，同時提供模型前後處理所需圖像處理算子
- 遵循 ONNX 開放标準，提供 ONNX 轉換支援
- 支援網絡動态特性
- 提供 MMCV 算子高性能實作
三、雲上多後端部署
面向雲端異構推理場景，支援多平台部署
- 支援 x86 FMA & AVX512、NV Turing 架構
- 支援異構裝置并行推理
▎項目連結
歡迎 star，歡迎提 issue~
🔗 Contact us:
▎結語
機器學習的發展遠沒有結束，我們将始終關注業界的進展。OpenPPL 會吸收業界的需求，長期維護并完善算子的種類，模型支援的類型，并将長期優化模型推理全鍊條。