GPT4ALL是什麼？
ChatGPT以及GPT-4的出現将使AI應用進入API的時代，由于大模型極高的參數量，個人和小型企業不再可能自行部署完整的類GPT大模型。但同時，也有些團隊在研究如何将這些大模型進行小型化，通過犧牲一些精度來讓其可以在本地部署。
GPT4ALL（GPT for ALL）即是将大模型小型化做到極緻的工具，該模型運作于計算機CPU上，無需網際網路連接配接，也不會向外部伺服器發送任何聊天資料（除非選擇允許将您的聊天資料用于改進未來的GPT4All模型）。它可以讓你與一個大型語言模型（LLM）進行交流，獲得答案、見解和建議。
GPT4All Chat适用于Windows、Linux和macOS作業系統，支援。由于該模型在本地運作，是以它不會像ChatGPT官方模型那麼強大，但具備本地部署和運作的能力。
來看看GPT4ALL的實際運作效果：
ChatGPT的不開源
OpenAI作為AI領域的巨頭被贊譽為一個對AI技術推動做出了巨大貢獻的公司，但它遭到不少人的批評，認為OpenAI太過封閉，模型不夠開放，特别是ChatGPT和GPT-4的技術細節不再透露。是以，越來越多的研究者和愛好者開始推崇開源的大模型項目。
最近Meta的LLaMA項目在GitHub上釋出，号稱可以比GPT-3性能更好。盡管在嚴格意義上不屬于開源範疇，但在注冊後仍然可以擷取模型權重參數。這種開放性顯然有助于LLaMA的發展，社群很快就為它打造出了各種擴充版本，例如C/C++版本的llama.cpp和Stanford研究員擴充的Alpaca（支援指令跟蹤）。
是以，GPT4AII基于LLaMA的開源大模型架構，通過調用ChatGPT來達到類似效果，并将其小型化到使用CPU即可部署。
GPT4AII如何實作ChatGPT？
那麼，我們現在進入正題，介紹GPT4AII的運作原理。相信很多人想知道一個問題：既然ChatGPT不開源，那如何來建構一個小型化的ChatGPT呢？
在GPT4AII項目中，開發團隊采集了大量的常見問題和提示詞（prompt），并将其交由ChatGPT（特指GPT-3.5-Turbo）生成了超過80萬個高品質的提示-回答對。接下來，資料通過篩選、模型訓練等步驟，確定其涵蓋了各種話題和領域，并且移除了不具備多樣性的回答，以使得模型表現出更好的性能。
值得一提的是，GPT4AII開發者還釋出了一個經過量化後的4位版本，這意味着在普通電腦上就可以運作該模型，而不需要像部署ChatGPT那樣需要海量的高性能GPU。
無獨有偶，類似于GPT4ALL，最近不少社群也在嘗試推動低精度計算的發展，通過降低可忽略不計的精度來使得網絡所需的參數量和顯存占用指數級下降。
怎樣在自己的電腦上運作GPT4ALL？
接下來我們就來介紹一下如何在自己的電腦上運作GPT4ALL。步驟非常簡單，GPT4ALL已經将其打包成了一鍵的安裝包，在GPT4ALL項目的官網即可下載下傳安裝，支援Windows、Linux和macOS系統。
GPT4ALL官網：https://gpt4all.io/index.html
下載下傳後，運作安裝程式，并注意安裝路徑。在安裝完成後，在安裝路徑下定位“bin”子目錄，之後執行“chat”檔案即可。該檔案在Linux上命名為“chat”，在Windows上命名為“chat.exe”，在macOS上命名為“chat.app”。
當然，也可以按照GitHub倉庫中“Try it yourself”下給出的指南進行安裝。
Github連結：https://github.com/nomic-ai/gpt4all
開源模型和小型化的意義和價值
GPT4AII目前在Github上已經獲得了34.2k的star，這表明，開源項目和社群貢獻是推動技術極為有效的方式。從商業角度來看，這也給像ChatGPT這樣的閉源模型提出了不小的挑戰。
畢竟，如果提供的AI服務越高效、越受歡迎，也就越容易被同行開發者和研究者模仿。對于GPT4AII來說，他們隻花費了4天時間、$800的GPU成本以及$500的OpenAI API調用成本之後，就成功模仿了ChatGPT，實作了這個項目。這也引發了一個有趣的問題：閉源模型的商業模式是否可行？是否應該更積極地推進AI技術的開源和共享？
歡迎關注我的個人公衆号【THU智能魔術師】