Vectara首席執行官Amr Awadallah表示，由于設計方式和香農資訊定理(Shannon Information Theorem)關于資料壓縮的基本限制，大型語言模型(LLM)會産生幻覺。但也有解決LLM幻覺問題的方法，包括Vectara使用檢索增強生成(RAG)等方法。
麻省理工學院教授克勞德·香農(Claude Shannon)于2001年去世，他因在數學、計算機科學、電子工程和密碼學領域的廣泛貢獻而被稱為資訊論之父。他在其開創性論文《通信的數學理論》(通常被稱為“資訊時代的大憲章”)中發表的一項觀察稱，在資料開始失去意義之前，可以壓縮多少資料是有内在限制的。
Awadallah解釋道:“香農資訊定理毫無疑問地證明了你可以壓縮文本的最大值是12.5%。如果壓縮超過12.5%，那麼你現在就處于所謂的有損壓縮區，而不是無損壓縮區。”
資訊論之父，麻省理工學院教授克勞德·香農
問題是，LLM用于訓練的資料壓縮遠遠超過了12.5%，這導緻LLM進入有損壓縮區，是以容易出現錯誤和幻覺。Awadallah說:“簡而言之，它們産生幻覺是因為我們把資料壓縮得太多了。”
今天的一些LLM需要大約1萬億個單詞，并将其塞進一個有10億個參數的空間，這代表了1000倍的壓縮率。他說，像GPT-4這樣的一些工具做得更好，壓縮率約為100倍。
Awadallah說，減少幻覺的一個簡單方法就是将更少的資料塞進LLM中——在更小的資料集上有效地訓練LLM——并使壓縮率高于文本所需的12.5%。
但如果我們那樣做了，LLM就沒那麼有用了。他說，這是因為我們不是在訓練LLM們完美地回憶資訊，而是在訓練他們了解詞彙所反映的潛在概念。
這位Cloudera的聯合創始人說，這有點像教育實體學家。作為一名大學生，學生接觸到科學公式，但他沒有被無休止地死記硬背。實體學家教育中最重要的部分是掌握實體世界的關鍵概念。在測試中，實體學生可以打開課本來學習科學公式，因為實體老師明白，即使學生在展示對關鍵實體概念的了解時，偶爾也會忘記一個公式。
Awadallah說，開卷考試，而不是要求完美記憶，是解決LLM幻覺的部分方法。使用RAG技術實作的開卷測試為LLM帶來了額外的資料，提供了一種檢查LLM是否傾向于編造内容的方法。
他說:“簡單說，RAG就是一本打開的書。我們告訴(LLM)，‘你們現在的工作是回答這個問題，但隻能使用這些事實。’”
Vectara的大語言模型幻覺排行榜(圖檔來自Vectara)
Vectara的從業人員希望這種“沙盒”技術足以将幻覺率降至零。他們很快了解到，雖然它在一定程度上降低了幻覺率，但并沒有完全消除幻覺。例如，使用Vectara的RAG，GPT-4的幻覺率下降到3%，這有所改善，但仍不足以用于生産。根據Vectara的幻覺排行榜，Llama- 270b的幻覺率為5.1%，而谷歌Palm的幻覺率約為12%。
Awadallah說：“雖然所有這些事實都是正确的、未經壓縮的、高度(相關)的事實，但它們仍然可以虛構一些東西。”
消除剩餘的幻覺需要另一種技術：創造一種專門用于檢測幻覺的新型LLM。
與人類事實核查員一樣，被稱為“回旋镖”(Boomerang)的Vectara LLM會生成一個分數，該分數與LLM的答案被捏造的可能性相對應。
Boomerang比GPT-4本身更擅長事實核查的一個原因是，它是專門為事實核查而設計的LLM。另一個原因是，它是根據公司自己的資料進行訓練的。客戶可以定義模型用來确定真實性的事實。然後，這些資料被存儲在Vectara解決方案的另一個元件中：一個自制的矢量資料庫。
Awadallah說:“矢量資料庫所做的是存儲你的原始内容——你擁有的文本——但它也存儲内容背後的含義，作為矢量嵌入。我們會根據你所處的環境，以及你在一個經營企業的組織中所擁有的東西，為你提供非常專業的服務。”
Vectra的完整解決方案僅在雲中運作，包括Boomerang、“盒子裡的RAG”和一個運作在LLM旁邊的矢量資料庫。任何非結構化文本，從word文檔和pdf到基于紙張的檔案，都可以通過光學字元識别(OCR)作為訓練模型的輸入。
Vectara讓客戶可以選擇使用GPT-4或Mistral 7B，作為托管服務運作在雲中，也可以運作在客戶自己的VPC中。
客戶選擇哪個LLM取決于他們想做什麼，以及他們向OpenAI發送資料的适配程度。
“Mistral 7B是目前世界上最好的模型之一。它的體積很小，是以速度非常快，而且平均表現非常好。” Awadallah說，“我們自己為客戶提供這種模型。或者如果他們想讓我們調用GPT-4，我們也可以調用GPT-4。”他說，Meta的Llama-2将在未來加入。
在ChatGPT引發人工智能熱潮之前，Awadallah于2020年創立了Vectara，該公司的目标是讓企業能夠建立自己的聊天機器人和會話界面。Awadallah承認，有數百家初創公司和成熟的科技公司在追逐這個資訊金礦，但他堅持認為，Vectara已經建立了一個解決方案，解決了人們對幻覺的擔憂，以及其他一些問題，比如防禦即時注入攻擊，這在某種程度上使公司走在了前沿。
Awadallah表示，自從去年4月推出GA産品以來，Vectara已經收到了1.8萬名注冊使用者，這一數字以每周500至700人的速度增長。在使用Vectara的公司中，有一家超音波制造商希望根據專家最佳實踐的提煉實作機器配置的自動化，還有一家财富咨詢公司希望提供無幻覺的金融建議。
Awadallah說，雖然高管們正在窺視GenAI革命帶來的利益，但它也給像Vectara這樣的公司帶來了阻力。
他表示:“我認為ChatGPT幫助很大，但它讓企業躊躇不前。”“當他們看到這些幻覺時，他們不确定自己能不能用這個。如今，在市場上看到了解決方案，他們可以真正控制這種幻覺。”