OpenAI多模态模型的破解。
OpenAI的多模态模型能够将不同的信息来源或形式统一在一起，实现模态之间的转换和统一，包括触觉、听觉、视觉、嗅觉等。这些信息的媒介可以是语音、视频、文字等。多模态模型能够实现图片生成文字、图片相关推理、图片推理和数学推理、视频推理等多种功能。它适用于故事生成、网页、开发、图片审核、视频识别、作业答案生成等场景。
OpenAI的多模态模型采用了clip模型进行文本编码和图像编码，并通过对齐它们的编码向量实现统一。与开源模型相比，OpenAI的模型在训练数据、算力和模型规模上具有优势，整体效果更好。
OpenAI自用的视觉提取模型采用了更多高质量的数据进行训练。训练和对齐视觉与语言之间关系的几个阶段，主要包括预训练和指令微调。在预训练阶段视觉和语言模态进行对齐，指令微调阶段通过用户自然方式提问问题来回答用户问题。
训练多模态模型需要使用英伟达的显卡，如A100或H100训练一个约70，e 参数的模型通常需要使用多张显卡进行大约三天的训练。在预训练阶段需要大量算力，而微调阶段因为社区中有许多开源模型可用，所需算力较低。在推理阶段可以使用一些成本较低的推理卡，例如英伟达的t4a20和A40。紫光展锐和寒武纪的推理卡也适用于语言模型或多模态模型的部署。
OpenAI多模态模型在处理图片理解和识别、图片推理和数学推理、视频识别等场景中具有优势。在图片相关推理方面，模型可以识别人物、评论图片、识别电影等。在数学推理方面，模型可以解答复杂问题，如数学题和作业题。
在视频推理方面，模型通过提取视频中的每一帧图片进行整体提取和训练，可以理解视频内容并给出回答。
OpenAI多模态模型的优势包括模型体量更大、有更强大的推理能力、视觉提取能力更强等。然而由于视觉提取模块的限制，模型在一些细节、文字和标记等方面仍然有识别困难。
