編輯：編輯部
【新智元導讀】多模态Llama 3還未釋出，已經用在科幻中存在的AR眼鏡上了！不僅能為你搭配衣服，還能打視訊、實時翻譯，隻要你能想到的，它全能實作。
科幻大片中的AR黑科技，竟走進了現實！
就在剛剛，Meta自家的雷朋智能眼鏡，已經開始支援多模态版的Llama 3了！要知道，Llama 3的開源版本還沒支援多模态呢。
就在最近，小紮還在訪談中承認願意開源價值100億美元的模型，不過，如果涉及到産品側，那就是另一回事了。
诶，産品這不就來了麼——
戴上這副智能眼鏡，外出旅行坐車感到無聊時，可以讓Meta來點音樂。
帶着AR眼鏡，還可以直接翻譯不認識的語言。又或者在路上騰不出手時，Meta可以給好友發語音資訊。
走到一座建築前，呼叫Meta告訴自己關于它更多的資訊。
甚至，視訊電話、直播，科普等，隻要是你能想到的，AR眼鏡全可以做的到。
Meta介紹，去年12月便開始在雷朋Meta智能眼鏡上，測試了多模态AI。目前，已經在美國和加拿大地區銷售的眼鏡上推出了這一新功能。
小紮也來炫技了
這款眼鏡配備了一個1200萬像素的攝像頭和五個麥克風，內建Meta AI助手後，意味着帶着它可以做更多的事。
你看到的任何東西，它都能描述出來。
隻需說一句，「Hey Meta，看看這個，告訴我它是什麼？」，語音指令即可控制。
看着廚房櫃台上一堆食材，Meta能夠迅速制作出相關的食譜。
更有意思的是，小紮本人還在Ins釋出一個帶上智能眼鏡，為自己挑選衣服的視訊。
他挑選了一個深色的襯衣，并問Meta我應該搭配個什麼樣的褲子。Meta給出了牛仔褲、短褲的建議。
他還讓智能眼鏡給一張萌寵的照片，配上了有趣的描述。
小紮手裡拿着一種水果，智能眼鏡能告訴他這是面包果。
而對于AR眼鏡來說，實時翻譯将成為一款殺手級應用。
當你旅行時，正在試着讀一份法語菜單。不用查閱手機，智能眼鏡就可以完成實時翻譯。
它甚至可以閱讀不同語言的手勢，簡直是旅行必備單品。
此外，除了得到多模态Llama 3的加持，Meta還公布了智能眼鏡內建了WhatsApp和Messenger的免提視訊通話。
與此同時，不同時尚款式的鏡框設計，都可以專配處方鏡使用。
不過，這款智能眼鏡起價為300美元（2100元），并不便宜。
實測外出識物，比手機友善
蹭着更新的熱乎勁兒，外媒The Verge釋出了提前拿到内測資格的評測。
前段時間，Humane智能裝置AI Pin因性能不如人意，全網陷入了非議之中。關鍵是700美元，根本不值。
作者表示，「我們要對Meta智能眼鏡的期望值不要太高，因為它并非無所不能」。
測試中的一半的樂趣，就是找到它的極限在哪。
它能否正确識别街上這輛随機的汽車？（一輛Alfa Romeo Giulia Quadrifoglio和一輛Alfa Romeo Tonale）。
與大多數AI一樣，Meta AI有時非常準确，有時又會出現幻覺。
它正确地識别出了Giulia。但Tonale也被識别為Giulia。
但有趣的是，這兩款車幾乎沒有相似之處，Giulia是一款轎車，而Tonale是一款跨界SUV。
作者還讓它識别自己種的多肉植物（由于有些是别人送的，自己也并不完全清楚具體品種）。
Meta回答的是，「Echeveria、aloe vera蘆荟和Crassula品種」。
但其實，作者用可通過AI照片識别植物的應用程式Planta進行驗證，發現植物當中沒有一株是Echeveria。
最精彩的是，作者的夫妻偶然看到鄰居家後院一隻大松鼠，戴上智能眼鏡去要識别出是什麼品種。
作者用手機拍下了照片，并用另一款應用試了一番。
果然，Meta識别錯了，而作者使用的APP成功識别出它是土撥鼠。
然而，當再用智能眼鏡去識别手機中的照片時，确給出了「土撥鼠」正确的答案。
這個案例中，說明了AR眼鏡缺少「變焦」功能，才導緻回答錯誤。
除了多模态識别能力之外，作者測試其與手機配對時，響應速度也是非常地快。同時，智能眼鏡将聲音功能內建一體，省去了戴眼鏡的麻煩，讓互動更加自然。
總得來說，Meta智能眼鏡在戶外活動，AI助手在識别事物上發揮了巨大的作用。
以往，作者外出看到感興趣的東西時，需要掏出手機拍照在識别。
而現在，智能眼鏡也可以很好地延伸手機的能力，前提是不要将想要識别的内容放大很多倍。
參考資料：
https://about.fb.com/news/2024/04/new-ray-ban-meta-smart-glasses-styles-and-meta-ai-updates/
https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables