Meta推出MTIA：高效能、可编程的深度学习推理加速器芯片
近年来，机器学习（ML）模型在在线活动中变得无处不在，尤其是深度学习推荐模型（DLRM）。随着这些模型的规模和复杂性的增长，为这些模型提供支持的硬件平台面临巨大挑战。为了应对这一挑战，Meta推出了一款针对推理工作负载的加速器芯片MTIA，旨在提高性能、降低功耗并具有足够的可编程性。
MTIA加速器的架构包括处理元素（PE）阵列、片上存储器块和片外存储控制器等组件。每个PE包含两个RISC-V处理器核心和一系列固定功能单元，如内存布局单元（MLU）、点积引擎（DPE）等。这些功能单元协同工作，以高效地执行DLRM中的各种操作。
MTIA的软件堆栈基于PyTorch构建，提供了必要的功能和特性，使得在设备上执行的ML模型可以高效地运行。软件堆栈包括ML服务平台、PyTorch Runtime、编译器、ML内核库等组件，共同为MTIA提供强大的支持。
在性能方面，MTIA与基线加速器（NNPI）和最近部署的GPU进行了比较。对于一组具有代表性的DLRM，MTIA实现了与GPU接近的性能/W，并超过了NNPI的性能/W。随着软件堆栈的进一步成熟，MTIA在所有DLRM工作负载空间中的性能有望进一步提高。
总之，Meta的MTIA加速器为深度学习推理工作负载提供了一种高效、可编程的解决方案。随着软件堆栈的成熟，MTIA有望在未来几代架构中继续提高性能。
