Meta推出MTIA：高效能、可程式設計的深度學習推理加速器晶片
近年來，機器學習（ML）模型在線上活動中變得無處不在，尤其是深度學習推薦模型（DLRM）。随着這些模型的規模和複雜性的增長，為這些模型提供支援的硬體平台面臨巨大挑戰。為了應對這一挑戰，Meta推出了一款針對推理工作負載的加速器晶片MTIA，旨在提高性能、降低功耗并具有足夠的可程式設計性。
MTIA加速器的架構包括處理元素（PE）陣列、片上存儲器塊和片外存儲控制器等元件。每個PE包含兩個RISC-V處理器核心和一系列固定功能單元，如記憶體布局單元（MLU）、點積引擎（DPE）等。這些功能單元協同工作，以高效地執行DLRM中的各種操作。
MTIA的軟體堆棧基于PyTorch建構，提供了必要的功能和特性，使得在裝置上執行的ML模型可以高效地運作。軟體堆棧包括ML服務平台、PyTorch Runtime、編譯器、ML核心庫等元件，共同為MTIA提供強大的支援。
在性能方面，MTIA與基線加速器（NNPI）和最近部署的GPU進行了比較。對于一組具有代表性的DLRM，MTIA實作了與GPU接近的性能/W，并超過了NNPI的性能/W。随着軟體堆棧的進一步成熟，MTIA在所有DLRM工作負載空間中的性能有望進一步提高。
總之，Meta的MTIA加速器為深度學習推理工作負載提供了一種高效、可程式設計的解決方案。随着軟體堆棧的成熟，MTIA有望在未來幾代架構中繼續提高性能。
