天天看點

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

作者:AI畫師大陽

chatgpt雖然展示過了它的多模态能力,但是它還沒有向大衆開放圖檔對話功能。華人團隊開發的MiniGPT-4填補了這個空白。你給它一張圖檔,它可以分析圖檔的内容,然後根據你的提問回答你相應的問題。官方展示了多個圖檔場景對話示範,MiniGPT-4對圖檔都分析的極其準确,而且回答問題也可以像Chatgpt那樣智能聊天。下面看一下官方的效果展示。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給它一張杯子的圖檔,讓minigpt4寫一段廣告文案,minigpt4成功識别出圖檔中的内容,并描述了杯子樣式及其推廣賣點,寫了一篇有創意的廣告文案。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給了minigpt4一碗面條的圖檔,問它怎麼做出來。minigpt4識别出圖檔為拉面,給出了制作食材,并給出了烹饪步驟。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給了minigpt4一張電影截圖,讓它介紹一下這部電影,minigpt4成功識别出電影為教父,并簡短介紹了一下電影内容。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給了minigpt4一張繪畫作品,讓它介紹一下這幅作品,minigpt4成功識别出這幅繪畫為西班牙超現實主義畫家薩爾瓦多達利的《記憶的永恒》,并簡短介紹了這幅畫和畫家。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給了minigpt4一張圖檔,讓它描述一下這張圖檔,minigpt4識别出這是一張監控攝像頭照片,在街道上,有汽車和公共汽車,有人穿着黑色衣服拿着包穿過馬路。讓minigpt4分析一下這個人的行為。minigpt4認為這個人正在穿過一條繁忙的街道并可能存在危險。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

給了minigpt4一張搞笑合成圖檔,讓它說出圖中的人物是誰。minigpt4成功識别出圖中人物為埃隆馬斯克,并簡短介紹了一下這個人。内容很多就不一一展示了,喜歡的可以自己去測試。

MiniGPT-4連結:https://minigpt-4.github.io/

可能是由于使用的人太多了,伺服器負載過高,網站打開很慢很卡,使用的時候反應也很慢,提問的話得2-3分鐘才能回答出結果。有時候網站會提示“No interface is running right now”無法使用,可以清理緩存重新打開頁面或是換個浏覽器試試。也可以用下面這個連結,我感覺更好用一點。

入口2連結:https://c9cd51f7cae3c9fec1.gradio.live/

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話
AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

我上傳了一張天空之城女主的圖檔,minigpt4識别出了這是一張日本卡通片中的動漫人物。

AI看圖聊天軟體來了,MiniGPT-4可以智能分析圖檔内容進行對話

我又上傳了一張大帥的圖檔,minigpt4提示我沒有提供圖檔,不知道為什麼。

還在無意中發現了minigpt4可以想chatgpt那樣分析網頁内容,你給它一個網頁連結,讓它描述一下網頁内容,它就會給你總結分析一下網頁上的内容。但是首先這個連結是minigpt4伺服器可以通路的,這個功能一般沒什麼用,但對有這類需求的人可能用得着。

總的來說minigpt4還是很強大的,識圖能力及智能對話都做的比較不錯,對于文案策劃人員以及相關接觸圖檔工作的人,真的是神器,還有不得不說AI人工智能真的是發展太快了。

繼續閱讀