金磊 發自 凹非寺
量子位 | 公衆号 QbitAI
英偉達推出了自家版本的ChatGPT，名字很有GPU的味道——
Chat With RTX。
英偉達的這款AI聊天機器人和目前主流的“選手”有所不同。
它并非是在網頁或APP中運作，而是需要下載下傳安裝到個人電腦中。
這波操作，不僅是在運作效果上會更快，也就意味着Chat With RTX在聊天内容上或許并沒有那麼多限制。
網友們也紛紛對這一點發出了感慨：
哇~這是本地運作的耶~
當然，在配置方面也是要求的，隻需要至少8GB的RTX 30或40系列顯示卡即可。
那麼Chat With RTX的實際效果如何，我們繼續往下看。
英偉達版ChatGPT
首先，值得一提的是，Chat With RTX并非是英偉達自己搞了個大語言模型（LLM）。
它背後所依靠的仍是兩款開源LLM，即Mistral和Llama 2，使用者在運作的時候可以根據喜好自行選擇。
Pick完LLM之後，就可以在Chat With RTX中上傳本地檔案。
支援的檔案類型包括txt，.pdf，.doc/.docx和.xml。
然後就可以開始提問了，例如：
Sarah推薦的餐廳名字是什麼？
由于是在本地運作，是以Chat With RTX生成答案的速度是極快的，真真兒的是“啪的一下”：
Sarah推薦的餐廳名字叫做The Red Le Bernardin。
除此之外，Chat With RTX另一個亮點功能，就是可以根據線上視訊做回答。
例如把一個油管視訊的連結“投喂”給它：
然後向Chat With RTX提問：
英偉達在CES 2024上宣布了什麼？
Chat With RTX也會以極快的速度根據視訊内容作答。
至于其背後用到的技術方面，英偉達官方隻是簡單提了一句：“用到了檢索增強生成 （RAG）、NVIDIA TensorRTLLM軟體和NVIDIA RTX等。”
如何食用？
正如我們剛才提到的，Chat With RTX的用法很簡單，隻需一個下載下傳安裝的動作。
不過在配置上，除了GPU的要求之外，還有一些條件，例如：
- 系統：Windows 10或Windows 11
- RAM：至少16GB
- 驅動：535.11版本或更新
不過Chat With RTX在大小上并沒有很輕量，共計大約35G。
是以在下載下傳它之前，務必需要檢查一下Chat With RTX所需要的安裝條件。
不然就會出現各種各樣的悲劇了：
不過實測被吐槽
The Verge在英偉達釋出Chat With RTX之後，立即展開了一波實測。
不過結論卻是大跌眼鏡。
例如剛才提到的搜尋視訊功能，在實際測試過程中，它竟然下載下傳了完全不同視訊的文字記錄。
其次，如果給Chat With RTX“投喂”過多的檔案，例如讓Chat with RTX為25000個文檔編制索引，它就直接“罷工”崩潰了。
以及它也“記不住”上下文，是以後續問題不能基于上一個問題。
最後還有個槽點，就是下載下傳Chat with RTX消耗了測試人員整整半個小時……
不過槽點之外，The Verge也比較中立地肯定了Chat with RTX的優點。
例如搜尋電腦上的文檔，其速度和精準度是真香。
并且做總結也是Chat with RTX較為擅長的内容：
更重要的是，在本地運作這樣的機制，給使用者檔案的安全性帶來了保障。
那麼你會pick英偉達版的ChatGPT嗎？
參考連結：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态