LLaVA關鍵技術及線上示範【多模态大模型】本文提出了一種新的大型多模态模型LLaVA，将大型語言模型和視覺模型結合起來

LLaVA關鍵技術及線上示範【多模态大模型】

本文提出了一種新的大型多模态模型LLaVA，将大型語言模型和視覺模型結合起來，建立一個通用的視覺助手，能夠了解并執行多模态指令，解決現實世界的任務。LLaVA使用GPT-4生成視覺指令跟蹤資料，并使用CLIP的視覺編碼器進行特征對齊和端到端微調。LLaVA已經在線上示範中展示了其多模态了解和任務執行能力。