GPT4協助大模型引入領域結構化知識。
分享一篇文章用大規模語言模型pecker，去幫助這種視覺識别任務。視覺識别任務是什麼？他輸一張圖檔，然後不需要訓練，直接通過一系列模型就可以識别出來。這裡面是有一個鳥或者之類的。看他的篇文章名字就是使用gp四，幫助ok這個模型增強。
什麼是clip？就是把視覺和文本關聯在一起的模型。這就是一個視覺的cle，這是一個cle模型。然後它可以做零樣本的分類，零零訓練，分類就是需要的分類。給我一張圖檔直接就可以不通過、不訓練，直接就可以知道這裡面圖檔有什麼度，看他怎麼訓練的。
這是OPI的大規模模型，它有很多個很多圖像，同時對應很多個圖像的文本描述。比如說這個圖檔就是有一個狗在草地上蹲着。其他的圖檔，比方說一隻貓在樹上等等。訓練的過程就是把每一張圖檔用圖檔的編碼成一個響亮，得到多個響亮。同時把文本，文本對應的每張圖檔文本用文本的編碼器編碼成一個項鍊。這就是楊瑞芬也對恩的，因為它是一緻定的。
繼續學習的訓練過程還不一樣。不僅僅像繼續學習那樣，告訴你第一張圖檔應該跟第一個文本的描述是一樣的，第二個跟第二個圖檔跟第二個文本的描述是對應的。這是普通的神經網的訓練過程。這個它使用了對比學習的方式。
不但告訴你第一個圖檔跟第一個文本是比對的，同時告訴你第一個圖檔的，和其他的文本是不一樣的，這樣訓練的時候就增加了資訊，可以減少訓練而且效果會更好。
試圖讓文本、文本和圖檔對應的這個項鍊，得到的cosin值就是它兩個是平行的，平行的意思是它兩個的相似度更大，cosin就等于意思是對角線越大越好，其他為跟0越接近越好。意思是cosin值越為0，就是它兩個垂直，垂直就是它兩個不相關，如果對角線上如果是平行的角度為0，扣分就等于1，那麼相關性就更大。就通過這種訓練的一輪一輪的模型，這兩個模型就能夠學到圖檔的像素跟詞之間的一對一的關系。
這是一個0K訓練大規模圓模型。通過對比學習方式訓練完之後能夠怎麼使用它？比方給我一張圖檔，你給我一張圖檔對不對？同時告訴我幾個選項，這是一張什麼圖檔？這是一個物體，這物體從這裡面選，然後去找他把這整個這一句話，就是這一句話這個地方是不填的，告訴他可以選擇幾個他的整個資訊用文本編碼集編碼成項量，得到多項量。
這樣比方填飛機，是一張飛機的圖檔編碼成一個項量，車的編碼一個項量，這樣就得到多個項量。再把這輸入的圖檔想知道裡面有什麼動物編碼成個項量，就找這個跟哪個更像。比如跟第二個更像，倒回去跟狗相關，是以它就說這就是一張狗的圖檔跟這個項鍊跟本本這有圖像，這就是一個提示詞。
但是如果說你要提示更豐富的你得到的效果可能更好，你加的資訊越多他識别的效果越好。但是這些文章是什麼意思呢？
首先我們看看這個裡面zerothat就不不訓練的模型，就是用于訓練模型，然後直接去做分類的效果就這樣。然後給他一個鳥，給他幾個選項然後直接計算，他就會自動告訴你哪一個，他時間是對的，這叫綠露，然後他的識别率百分之九十二點九的機率是這個綠露，這個圖檔就是第一個。因為第二個跟他很像，這兩個鳥很像，是以他有百分之六十七的機率。
這就說明說你給他一張圖檔，然後你給幾個選項，他自動能告訴你這是一個什麼圖檔。這種方式依然會有問題。
·他這個熱門裡面說的就是，你給我一張圖檔，你問你這是一個綠的啄木鳥，這應該啄木鳥。然後綠露，但是這個綠露其實不是綠色，他是黑色，他可能有些地方綠。是以如果說你問他是一種什麼鳥的時候，可能他這個鳥很有可能跟其他的鳥有混淆。
·他說應該加入更豐富的資訊，比方說他腿有多長，大小有多長，他腿多長，他羽毛是什麼顔色這種資訊加入更多的資訊，不僅僅像這樣一樣。他隻是這是一個什麼，一張什麼圖檔這種資訊太少了。
·它的工作原理就是用esp p 4，然後看這裡，它的工作原理就是用 pe p 4，它就問你要評判一個鳥兒的圖像應該有哪些東西，大小，pe，carry型，各種資訊，它基因的資訊在生成很多句子的描述，然後這個描述添加到這裡，添加到後邊，這樣的話他等一下識别這是一張什麼圖檔的時候就能夠更準确識别，但是後邊這個注意。
然後通過CP4去生成，有時候可能好有可能壞。
這裡就有一種方法對每一個類别的識别，比如貓狗鳥識别，每個類别都生成圖紙，生成MG，生成圖紙，生成生成圖紙，生成之後再用自注意力的網絡求平均，得到最好的生産值。就是最好的是平均的生成最好的，然後它在跟圖檔去對比，這樣它就能求出來更好的結果。就相當于說的簡單一點，它在後面加了更多的資訊，這個資訊就是專業知識。
其實這個東西我們說的很複雜，其實做0樣本的效果，分類的時候後面加的資訊越詳細。比如說這是一個電動車，然後如果隻問是不是一張電動車，或者是常用的油汽車，很難去分類。給它一張圖檔但是後面加油汽車是前面有散熱的，電腦沒有散熱的，然後它跟你圖檔就更容易識别出來電車和油汽車。
但是這一段加了長的描述資訊，可能自己千千百樣的人會有千百樣的選擇，是以它這裡就是通過前期不計來生成多個句子，再根據自監督的網絡去學習平均的。這隻是一個思路。
這篇文章沒有很複雜，但是這個思路比較重要的就是相當于需要做個樣本分類的問題的時候，需要有專業的領域知識，這個東西也可以不用除成本，也可以用人的知識去提取，但是用千金币可以做一個領域專家幫你提取這種結構化的知識。
比方說分類的時候需要什麼知識？其實作成切币它是一個黑盒子，但是你可以用黑盒子去提取出來一些領域知識，幫助現在的黑盒子去做更好的分類。識别任務。這是一個方向，就是把領域知識，還有可解化的結構化知識，放到AI的任務中。這是一個方向，是一個非常有意思的點。