天天看點

使用LM Studio一鍵部署本地AI大語言模型

作者:開山怪阿土

現在如此多的開源AI模型,像Gemma、Mistral 7B、Llama等,如果想部署到本地個人電腦上,一般需要懂點python等程式設計知識,而現在出現了一些軟體和開源工具,已經可以一鍵部署AI模型到本地了,很多都是傻瓜化操作,不需要有相應的程式設計知識。下面介紹的這個LM Studio就是一個傻瓜化一鍵部署開源AI模型的桌面軟體。

使用LM Studio一鍵部署本地AI大語言模型

1.什麼是LM Studio?

LM Studio 是一個桌面應用程式,支援Windows、蘋果macOS和Linux作業系統,用于在電腦上運作本地大語言模型。它通過在本地主機上運作的類似 OpenAI 的 HTTP 伺服器使用本地大語言模型,這樣使你有更多的控制權和隐私保護。

使用LM Studio一鍵部署本地AI大語言模型

LM Studio的主要功能:

搜尋并下載下傳各種AI大語言模型;

在具有GPU的本地計算機上運作AI模型;

與 AnythingLLM 內建以建立聊天機器人界面。

官方網站:lmstudio.ai

2. 電腦最低配置要求是什麼?

• 配備 macOS 13.6 或更高版本的蘋果電腦(M1/M2/M3)

• 具有支援 AVX2 處理器的 Windows/Linux PC

• 支援 NVIDIA/AMD GPU顯示卡,建議16GB 以上的顯存。

• 對于電腦,建議6GB+記憶體

一般Intel和AMD的比較新的CPU都支援AVX2指令集,如果不确定,可以用CPUZ軟體檢視一下自己電腦CPU支援的指令集。

使用LM Studio一鍵部署本地AI大語言模型

3.在Windows上安裝LM Studio

進入官網頁面,點相應的作業系統,下載下傳。

使用LM Studio一鍵部署本地AI大語言模型

打開下載下傳的安裝檔案,點選運作

它會自動安裝在C槽上

3. 運作LM Studio

直接打開LM Studio,可以直接在軟體首頁下載下傳推薦的各種模型。

使用LM Studio一鍵部署本地AI大語言模型

也可以在搜尋頁搜尋Hugging Face上的模型。并在頁面的右上角顯示估計需要的記憶體和顯存容量。

使用LM Studio一鍵部署本地AI大語言模型

5. 與你的AI聊天

進入聊天頁面,加載您下載下傳的模型,并輸入提示詞,等它給出回答。

使用LM Studio一鍵部署本地AI大語言模型

還可以一次加載多個模型,以對比不同AI模型的不同響應。

使用LM Studio一鍵部署本地AI大語言模型

LM Studio可以讓你輕松的部署自己的私有AI大語言模型,不用再考慮網絡、費用問題,随時随地與AI互動,唯一不完美的就是全英文界面,沒有漢化功能。官方後續版本還會增加文本嵌入(POST /v1/embeddings)支援,實作更多的自定義功能。