選自arXiv
作者：Roberto Gozalo-Brizuela、Eduardo C. Garrido-Merch´an
機器之心編譯
編輯：rome rome
生成模型領域裡，ChatGPT 并不是一切。
過去兩年，AI 領域裡已經出現大量大型生成模型，如 ChatGPT 或 Stable Diffusion。具體而言，這些模型能夠執行像通用問答系統或自動建立藝術圖像等任務，這些任務正在徹底改變很多領域。
從目前的發展來看，這些生成模型對行業和社會的影響是巨大的，因為一些工作崗位可能會發生改變。例如，Generative AI 能夠有效且創造性地将文本轉換為圖像，如 DALLE-2 模型；把文本轉成 3D 圖像，如 Dreamfusion 模型；把圖像轉成文本，如 Flamingo 模型；把文本轉成視訊，如 Phenaki 模型；把文本轉成音頻，如 AudioLM 模型；把文本轉成代碼，如 Codex 模型；把文本轉成科學論文，如 Galactica 模型；甚至建立算法的模型，如 AlphaTensor。
在近日由西班牙 Comillas Pontifical University 研究人員送出的綜述論文中，作者試圖以簡潔的方式描述生成式 AI 對目前很多模型的影響，并對最近釋出的主要生成式 AI 模型進行分類。
論文《ChatGPT is not all you need. A State of the Art Review of large Generative AI models》：
連結：https://arxiv.org/abs/2301.04655
為向可能因使用這些模型而受益的專業人士提供有效資訊，作者按如下結構組織文章。首先，作者提供行業中出現的主要生成式模型的分類。接着對每個類别進行分析。最後，本文會給出相關結論和未來要做的工作。文章中作者沒有詳細介紹每個模型的技術細節，如 Transformer，因為文章的目的是研究模型的應用，而不是研究它們的工作原理。
生成式 AI 模型的分類
在詳細分析每個模型之前，首先将目前的生成式 AI 進行分類，類别代表輸入資料和輸出資料類型之間的映射。如圖 1 所示。作者總共總結 9 個類别，其中每個出現在圖 1 中的模型将在之後較長的描述。由于文章主要關注點是描述生成式 AI 模型的最新進展，為讓讀者能有整體認識，在圖 2 中給出了所有已釋出的模型。
有趣的是，所有這些模型僅由 6 個公司釋出，如圖 3 所示。背後的主要原因是為能夠估計這些模型的參數，必須擁有巨大的計算能力以及在資料科學和資料工程方面技術精湛、經驗豐富的團隊。是以，隻有圖 3 所示的公司，在收購的初創公司的努力下以及與學術界的合作，才能夠成功釋出生成式 AI 模型。
到此已經介紹了最新的生成式 AI 模型，接下來的部分将詳細介紹圖 1 中所示每個類别。
随着技術的進步，我們已經在文本到圖像或文本到音頻等任務中看到了大量的創造力和個性化。它們在文本到科學或文本到代碼的任務中也很準确。這可以在很大程度上提升我們的自動化水準，因為它可以幫助優化創造性和非創造性任務。
然而，由于目前建構它們的方式，這些模型面臨着許多限制。在資料集方面，找到一些模型的資料，如文本到科學或文本到音頻非常困難，使得訓練模型非常耗時。特别需要提到的是，資料集和參數必須非常龐大，這使得訓練變得更加困難。模型最大的問題之一是從資料集中的問題中嘗試獲得解決方案，而模型在解決這些問題時遇到了更多麻煩。同樣，在計算方面，運作它們需要大量的時間和算力。
我們應該意識到這些模型的局限性，以便在接下來的幾年中嘗試和改進它們。
更多細節請參見原論文。