題目: A General Survey on Attention Mechanisms in Deep Learning
來源: IEEE Transactions on Knowledge and Data Engineering
摘要: 該文是一篇近十年注意力機制系統發展、相關數學模型概述.
全文概述現有文獻中提出的重要注意機制; 注意機制可通過一個一般注意模型、統一符号、注意機制綜合分類組成的架構來解釋; 還回顧評估注意力模型的多種方法并讨論基于所提出的架構來表征注意力模型結構的方法; 讨論了注意力模型領域的未來工作.
其中機器視覺中的注意力研究主要分為三大類：Attention-based CNNs; CNN transformer pipelines; Hybrid transformers. 第1類是我主要的研究方向, 其主要思想是在卷積神經網絡中定位特征映射中重要的部分、過濾機器視覺應用中的備援; 并通過使用注意力Map嵌入到CNN.
本人985博士畢業，目前研究深度網絡、注意力機制等方向. 大家在SCI論文撰寫等可私信我@SCI博士
