騰訊聯手劍橋推出“熊貓GPT”！多模态超級大模型，對标ChatGPT!
6月5日，騰訊AI實驗室，聯合英國劍橋大學等聯合以國寶熊貓命名為“PandaGPT”， 推出了一個超級大語言模型。該模型能執行極其複雜的任務，支援圖像、文本等六種指令，為可同時接受多模态輸入的超級大模型，展示了在人工智能領域的創新嘗試！
在實驗中，很好的展示了PandaGPT對于不同模态的了解能力，PandaGPT既能看懂文字，也能聽懂音頻，可以在複雜場景中執行任務，例如生成詳細的圖像描述、根據視訊内容或圖檔内容編寫一定内容的故事以及回答有關音頻的問題等等。
更有趣的是，PandaGPT 可以同時接受多模式輸入并自然地組合它們的語義。例如，PandaGPT 可以結合物體在照片中的樣子，以及它們在音頻中的聲音。
當然，PandaGPT的效果尚有提升空間，表現出現有語言模型的一些常見缺陷，包括幻覺、毒性和刻闆印象等，但其展示了跨模态通用人工智能（AGI）的發展潛力。相關研究發表在預印本網址ArXiv上。
在ChatGPT引爆AI領域後，多模态将成為未來AI主攻方向，PandaGPT 結合了 ImageBind 的多模式編碼器和 Vicuna 的大型語言模型，在六種模态（圖像&視訊、文本、音頻、熱力圖、深度圖、IMU讀數）上，擁有無與倫比的擴模态能力！
