Axial Attention 和 Criss-Cross Attention及其代碼實作

​

文章目錄

• • Axial Attention 和 Criss-Cross Attention及其代碼實作
  • • 1 Criss - Cross Attention介紹
    • • 1.1 引言
      • 1.2 理論實作
      • • 1.2.1 擷取權重A
        • 1.2.2 Affinity操作
        • 1.3.3 全部資訊擷取
      • 1.3 代碼實作
      • • 1.3.1 官方實作
        • 1.3.2 純pytorch實作
    • 2 Axial Attention 介紹
    • • 2.1 引言
      • 2.2 理論實作
      • 2.3 代碼實作