Transformer模型最开始是使用在NLP自然语言处理的模型，但是注意力机制越来越火🔥，且注意力机制跟人进行学习的方式类似，越来越得到大家的认可，很多魔改模型也随之而来。
既然注意力机制这么好用，是否可以使用在计算机视觉任务上，VIT SWIN等模型的发布，让注意力机制成功应用到了计算机视觉任务上。
既然可以使用在计算机视觉上与NLP领域上，那么transformer 模型是否可以用来多模态模型上呢？其基于transformer 模型的多模态模型也陆续出现。
1. CLIP (Contrastive Language-Image Pretraining)：CLIP是一种基于Transformer模型的多模态模型，用于联合训练图像和文本。它通过将图像和文本输入到同一个Transformer模型中，使模型能够理解图像和文本之间的语义关系。CLIP在图像分类、图像生成和图像问答等任务上取得了很好的效果。
2. LXMERT (Language-Transformer Cross-Modal Encoder)：LXMERT是一种用于图像和文本的多模态预训练模型。它通过将图像和文本输入到同一个Transformer模型中，学习图像和文本之间的交互表示。LXMERT在图像问答、视觉推理和图像标注等任务上具有很强的表现能力。
3. UNITER (Universal Image-Text Representation Learning)：UNITER是一种用于图像和文本的多模态预训练模型。它通过将图像和文本输入到同一个Transformer模型中，学习图像和文本之间的共享表示。UNITER在图像标注、图像问答和视觉推理等任务上取得了很好的效果。
4. Meta-Transformer ，一个多模态模型，其具有一个模态共享编码器，无需配对数据，可以在 12 个不同模态上完成 16 种不同感知任务。Meta-Transformer 能够对于 12 种不同的数据提供统一的模型框架，其包括文本、图像、点云、音频、视频、红外、超光谱、X 射线、表格、图形、时间序列和惯性测量单元（IMU）数据。
transformer模型真的可以进行模型大一统吗？
#动图详解transformer模型#
