天天看點

牛!谷歌向量空間法:圖檔譯成文字

概述:谷歌工程師利用和語言翻譯類似的技術開發出了一個用于翻譯圖檔主題的機器學習算法

牛!谷歌向量空間法:圖檔譯成文字

将一種語言自動翻譯成另一種語言一直以來都是難以攻克的問題。但最近幾年,谷歌通過開發機器翻譯算法改變了傳統的翻譯過程,通過谷歌翻譯從本質上改變了跨文化翻譯交流。

如今,谷歌正在運用同樣的機器學習技術将圖檔轉變為文字。其結果就是自動産生能夠準确描述圖檔内容的标題。該技術将用在網際網路搜尋引擎,圖檔自動發表,視覺受損者的網頁浏覽,以及其他更為廣闊的領域。

翻譯語言的傳統步驟是一個更疊的過程 - 從個體單詞的翻譯開始,然後通過重新排列單詞和短語的順序來提高翻譯的準确性。但是近幾年來,通過完全不同的方式,谷歌已經能夠運用自己超大規模的搜尋資料庫來轉換文字。

谷歌運用的方法的本質是統計相鄰或相近單詞出現的頻率,并且在向量空間中定義他們之間的關系。通過這樣的方法,每一個單詞就可以用一個向量在空間中表示出來,每一個句子則是不同向量的組合。接下來谷歌做了一個重要的假設 - 無論什麼語言,特定的單詞之間具備相同的關系。例如,在所有語言中,向量“國王-男人+女人=皇後”都應該是一個真命題。

這就使得語言翻譯成為了向量空間學裡的一個問題。谷歌翻譯是通過這一方式實作這一過程的:先把句子轉換成向量,然後使用這個向量産生意思相同,另一種語言的句子。

現在oriol vinyals 和他在谷歌的合作者們正在使用類似的方法将圖檔轉化為文字。他們的技術是使用神經網絡去學習10萬個圖檔的資料集合以及他們的标題,以此來實作如何對這些圖檔的内容進行分類。

但是除了生成一組可以描述圖檔的單詞,他們的算法同樣可以生成代表單詞之間關系的向量。這個向量可以和谷歌現有的翻譯算法結合起來去生成英語标題,或者任何其他語言的标題。事實上,谷歌的機器學習方法已經可以将圖檔轉換為單詞。

為了考量這種方法的效果,他們從亞馬遜的”mechanical turk” (提供不同技能的勞動力資源平台)雇傭了評估者來對通過上述方法自動産生的标題,以及其他方法和人工翻譯的标題進行評分。

結果顯示被谷歌叫做神經圖檔标題(neural image caption, nic)的新系統非常成功。使用一個叫做pascal的被大家所熟知的圖檔資料集,神經圖檔标題的翻譯功能明顯超出其他的非人工翻譯方法。據vinyals說,nic的bleu (wiki) 分數是59,現今最好的非人工翻譯技術的分數是25,人工翻譯的分數是69。

這是個不錯的結果,并且随着訓練資料集的增大,這個方法産生的結果會更好。“從實驗中我們非常清楚地看到,由于資料集的增大,nic的翻譯功能也相應得到提高。”谷歌團隊說。

下圖是一組圖檔翻譯結果的示例-按翻譯結果評分分組:

牛!谷歌向量空間法:圖檔譯成文字

很明顯,這是另一個在不久的将來機器會超越人類的項目。谷歌原論文題目:show and tell: a neural imagecaption generator

論文連結:arxiv.org/abs/1411.4555

編者注:最近更新版的“谷歌翻譯“中,已經增加了類似的功能,叫做“word lens“,下文摘自雷鋒網(leiphone.com)

原文連結 http://www.leiphone.com/news/201501/4d8lzmhszbfqy1ng.html

ios版谷歌翻譯推出了更新版本,新版本增加了“word lens”功能,可以直接對鏡頭捕捉到的文字圖像進行實時翻譯,并顯示在相機視圖上。并且,即使在沒有網絡連接配接的時候也能使用。遺憾的是,目前支援翻譯的文字有限,僅包括英語、法語、俄語、德語、意大利語、葡萄牙語和西班牙語,不過未來會支援更多語言。

此外,新版本還增加了實時會話模式,可以在雙方使用自然語速進行語音對話時,自動識别雙方的語種并進行實時翻譯。

牛!谷歌向量空間法:圖檔譯成文字
牛!谷歌向量空間法:圖檔譯成文字
牛!谷歌向量空間法:圖檔譯成文字

摘自:mit technologyreview

原文連結:

http://www.technologyreview.com/view/532886/how-google-translates-pictures-into-words-using-vector-space-mathematics/

譯者:cathy xi kan簡介

牛!谷歌向量空間法:圖檔譯成文字

阚玺(cathy xi kan) 2012年獲得了美國紐約州倫斯勒理工學院(rensselaer polytechnic institute)決策科學專業(decision science)的博士學位。在她4年的博士學習中,cathy對于決策模型的建立,運籌管理以及資料挖掘與分析等多項領域産生了濃厚的興趣。畢業後,cathy成為了一名資深的商業決策分析師,先後加入全美第二大惡性良性腫瘤研制中心(memorial sloan-kettering cancer center)的戰略計劃團隊和全美第一大電子折扣網站(retailmenot, inc.)的商業智能和分析團隊工作。這些團隊主要負責運用大資料分析向公司管理決策層提供有價值的商業決策建議。

2015年cathy希望通過大資料文摘平台廣泛結交業内人士及愛好者,并希望有機會多多參與國際國内大資料和電子商務相關的會議及交流活動。有意者可背景留言或私信。

原文釋出時間為:2015-01-17

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号

繼續閱讀