GPT4协助大模型引入领域结构化知识。
分享一篇文章用大规模语言模型pecker，去帮助这种视觉识别任务。视觉识别任务是什么？他输一张图片，然后不需要训练，直接通过一系列模型就可以识别出来。这里面是有一个鸟或者之类的。看他的篇文章名字就是使用gp四，帮助ok这个模型增强。
什么是clip？就是把视觉和文本关联在一起的模型。这就是一个视觉的cle，这是一个cle模型。然后它可以做零样本的分类，零零训练，分类就是需要的分类。给我一张图片直接就可以不通过、不训练，直接就可以知道这里面图片有什么度，看他怎么训练的。
这是OPI的大规模模型，它有很多个很多图像，同时对应很多个图像的文本描述。比如说这个图片就是有一个狗在草地上蹲着。其他的图片，比方说一只猫在树上等等。训练的过程就是把每一张图片用图片的编码成一个响亮，得到多个响亮。同时把文本，文本对应的每张图片文本用文本的编码器编码成一个项链。这就是杨瑞芬也对恩的，因为它是一致定的。
继续学习的训练过程还不一样。不仅仅像继续学习那样，告诉你第一张图片应该跟第一个文本的描述是一样的，第二个跟第二个图片跟第二个文本的描述是对应的。这是普通的神经网的训练过程。这个它使用了对比学习的方式。
不但告诉你第一个图片跟第一个文本是匹配的，同时告诉你第一个图片的，和其他的文本是不一样的，这样训练的时候就增加了信息，可以减少训练而且效果会更好。
试图让文本、文本和图片对应的这个项链，得到的cosin值就是它两个是平行的，平行的意思是它两个的相似度更大，cosin就等于意思是对角线越大越好，其他为跟0越接近越好。意思是cosin值越为0，就是它两个垂直，垂直就是它两个不相关，如果对角线上如果是平行的角度为0，扣分就等于1，那么相关性就更大。就通过这种训练的一轮一轮的模型，这两个模型就能够学到图片的像素跟词之间的一对一的关系。
这是一个0K训练大规模圆模型。通过对比学习方式训练完之后能够怎么使用它？比方给我一张图片，你给我一张图片对不对？同时告诉我几个选项，这是一张什么图片？这是一个物体，这物体从这里面选，然后去找他把这整个这一句话，就是这一句话这个地方是不填的，告诉他可以选择几个他的整个信息用文本编码集编码成项量，得到多项量。
这样比方填飞机，是一张飞机的图片编码成一个项量，车的编码一个项量，这样就得到多个项量。再把这输入的图片想知道里面有什么动物编码成个项量，就找这个跟哪个更像。比如跟第二个更像，倒回去跟狗相关，所以它就说这就是一张狗的图片跟这个项链跟本本这有图像，这就是一个提示词。
但是如果说你要提示更丰富的你得到的效果可能更好，你加的信息越多他识别的效果越好。但是这些文章是什么意思呢？
首先我们看看这个里面zerothat就不不训练的模型，就是用于训练模型，然后直接去做分类的效果就这样。然后给他一个鸟，给他几个选项然后直接计算，他就会自动告诉你哪一个，他时间是对的，这叫绿露，然后他的识别率百分之九十二点九的概率是这个绿露，这个图片就是第一个。因为第二个跟他很像，这两个鸟很像，所以他有百分之六十七的概率。
这就说明说你给他一张图片，然后你给几个选项，他自动能告诉你这是一个什么图片。这种方式依然会有问题。
·他这个热门里面说的就是，你给我一张图片，你问你这是一个绿的啄木鸟，这应该啄木鸟。然后绿露，但是这个绿露其实不是绿色，他是黑色，他可能有些地方绿。所以如果说你问他是一种什么鸟的时候，可能他这个鸟很有可能跟其他的鸟有混淆。
·他说应该加入更丰富的信息，比方说他腿有多长，大小有多长，他腿多长，他羽毛是什么颜色这种信息加入更多的信息，不仅仅像这样一样。他只是这是一个什么，一张什么图片这种信息太少了。
·它的工作原理就是用esp p 4，然后看这里，它的工作原理就是用 pe p 4，它就问你要评判一个鸟儿的图像应该有哪些东西，大小，pe，carry型，各种信息，它基因的信息在生成很多句子的描述，然后这个描述添加到这里，添加到后边，这样的话他等一下识别这是一张什么图片的时候就能够更准确识别，但是后边这个注意。
然后通过CP4去生成，有时候可能好有可能坏。
这里就有一种方法对每一个类别的识别，比如猫狗鸟识别，每个类别都生成图纸，生成MG，生成图纸，生成生成图纸，生成之后再用自注意力的网络求平均，得到最好的生产值。就是最好的是平均的生成最好的，然后它在跟图片去对比，这样它就能求出来更好的结果。就相当于说的简单一点，它在后面加了更多的信息，这个信息就是专业知识。
其实这个东西我们说的很复杂，其实做0样本的效果，分类的时候后面加的信息越详细。比如说这是一个电动车，然后如果只问是不是一张电动车，或者是常用的油汽车，很难去分类。给它一张图片但是后面加油汽车是前面有散热的，电脑没有散热的，然后它跟你图片就更容易识别出来电车和油汽车。
但是这一段加了长的描述信息，可能自己千千百样的人会有千百样的选择，所以它这里就是通过前期不计来生成多个句子，再根据自监督的网络去学习平均的。这只是一个思路。
这篇文章没有很复杂，但是这个思路比较重要的就是相当于需要做个样本分类的问题的时候，需要有专业的领域知识，这个东西也可以不用除成本，也可以用人的知识去提取，但是用千金币可以做一个领域专家帮你提取这种结构化的知识。
比方说分类的时候需要什么知识？其实现成切币它是一个黑盒子，但是你可以用黑盒子去提取出来一些领域知识，帮助现在的黑盒子去做更好的分类。识别任务。这是一个方向，就是把领域知识，还有可解化的结构化知识，放到AI的任务中。这是一个方向，是一个非常有意思的点。