天天看點

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

一年一度的谷歌AI總結公布了。

1月15日,谷歌進階研究員、谷歌AI負責人Jeff Dean發表了博文,回顧總結了2018年谷歌的技術研究進展。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

Jeff Dean從谷歌的人工智能、量子計算、感覺技術、算法理論、AutoML、機器人以及TPU等多個技術層面,系統地還原了谷歌AI的2018。

衆所周知,在去年一整年,谷歌遭遇了諸多危機,尤其是不作惡的原則受到内外的質疑。Jeff Dean部落格中首要提到的便是谷歌的道德原則和AI。

道德原則和人工智能

今年,我們釋出了Google AI原則,但是,由于AI的發展非常迅速,AI原則中諸如“避免制造或加強不公平的偏見”、“對人民負責”等也在不斷變化和改進。

其中,機器學習公平性和模型可解釋性等領域的新研究,正反向推動我們的産品進步,使其更具包容性。例如我們在谷歌翻譯中減少“性别偏見”,并允許探索和釋出更具包容性的圖像資料集和模型,使計算機視覺能夠适應全球文化的多樣性。

社會公益

Jeff Dean舉例了AI應用于解決現實公共問題的案例:

洪水預測工作。該研究與Google的許多團隊合作,旨在提供有關洪水發生可能和範圍的準确細粒度資訊,使洪水易發地區的人們能夠更好地保護自己及其财産。

地震餘震預測的工作。谷歌展示了機器學習(ML)模型可以比傳統的基于實體的模型更準确地預測餘震位置。

除此之外,還有許多Google研究人員和工程師合作,使用TensorFlow等開源軟體解決各種科學和社會問題,例如使用卷積神經網絡來識别座頭鲸的位置,檢測新的系外行星,識别患病的木薯植物等。

AI輔助技術

為了使ML和計算機科學幫助使用者更快更有效地完成任務,谷歌推出了智能語音技術Google Duplex。

這是一個囊括自然語言研究和對話了解以及文本、語言識别的技術。其核心是一個循環神經網絡,使用的是TensorFlow Extend(TFX)的機器學習平台建構。

當Google Duplex撥打電話時,它的聲音近乎真實的普通人。你可以聽到Google Duplex幫你打電話預約理發。

其他應用案例還包括Smart Compose,它可以使用預測模型提供有關如何撰寫電子郵件的相關建議,使電子郵件撰寫過程更快更容易的工具。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

我們研究的一個重點是讓Google智能助理這樣的産品支援更多語言,并且可以更好地了解語義相似性。

量子計算

在過去的一年裡,我們制作了許多令人興奮的量子計算新成果,包括開發了一種新的72比特通用量子計算裝置Bristlecone,該裝置可以擴大量子計算機在量子領域可以解決的問題。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

我們還釋出了量子計算機的開源程式設計架構Cirq,并探讨了量子計算機如何用于神經網絡。最後,我們分享了量子處理器性能波動的經驗和技術以及量子計算機如何作為神經網絡計算基闆的一些想法。

自然語言了解

2018年,Google的自然語言研究在基礎研究和以産品為中心的合作上都取得了非常棒的成果。我們在之前的機器學習模型基礎上開發了一個新的并行版本的模型 Universal Transformer,它在包括翻譯和語言推理在内的許多自然語言任務中都顯示出強大的技術能力。

我們還開發了BERT,這是第一個深度雙向,無監督的自然語言處理模型,僅使用純文字語料庫進行預訓練,就能使用遷移學習對各種自然語言任務進行微調。

感覺

我們的感覺研究解決了允許計算機了解圖像,聲音以及為圖像擷取,壓縮,處理,創造性表達和增強現實提供更強大工具的難題。

Google AI使命的一個關鍵是讓其他人能夠從我們的技術中受益,今年我們在改進作為Google API一部分的功能和建構塊方面取得了很大進展。比如通過ML Kit 在Cloud ML API和面部相關裝置建構塊中實作視覺和視訊的改進和新功能。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

MobileNetV2是谷歌的下一代移動計算機視覺模型,我們的MobileNets廣泛應用于學術界和工業界。MorphNet提出了一種有效的方法來學習深層網絡的結構,進而在計算資源有限的同時,改進圖像和音頻模型上的性能。

計算攝影

手機拍照性能的提升不僅僅在于實體傳感器的改進,更大部分要歸咎于計算攝影技術的發展。

我們的計算攝影技術正在與Google的Android和消費者硬體團隊密切合作,将這項研究傳遞給最新的Pixel和Android手機及其他裝置。2014年,我們推出了HDR +,可以在軟體中對齊幀,并将它們與計算軟體結合,使圖檔具有比單次曝光更高的動态範圍。這是2018年我們能夠在Pixel 2中開發Motion Photos,以及Motion Stills中開發增強現實模式的基礎。

今年,我們在計算攝影研究方面的主要工作之一就是創造一種名為Night Sight的新功能,即便在沒有閃光燈的情況下,也能讓Pixel使用者在非常昏暗的場景中拍出清晰的照片。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

算法和理論

在過去的一年中,我們的研究涵蓋從理論基礎到應用算法,從圖形挖掘到隐私保護計算等廣泛領域。我們在優化方面的工作涉及從研究機器學習的持續優化到分布式組合優化的領域。在前一領域,我們研究用于訓練神經網絡的随機優化算法的收斂性(其赢得了ICLR 2018)最佳論文獎),展示了流行的基于梯度的優化方法(例如ADAM的一些變體)的問題,為新的基于梯度的優化方法提供了堅實的基礎。

軟體系統

我們對軟體系統的大部分研究仍然與建構機器學習模型,尤其是TensorFlow有關。我們的一些新研究引入了Mesh TensorFlow,這使得用模型并行性指定大規模分布式計算變得容易。另外,我們還使用TensorFlow釋出了一個可擴充的深度神經排序庫。

另一個重要的研究方向是将ML應用于軟體系統的堆棧層面。在安全漏洞問題方面,我們的編譯器研究團隊将他們用于測量機器指令延遲和端口壓力的工具內建到LLVM中,進而可以做出更好的編譯決策。

我們研究了Google軟體定義網絡WAN,這是一個獨立的聯合查詢處理平台,可以在許多存儲系統中對基于不同檔案格式存儲的資料執行SQL查詢(BigTable,Spanner, Google Spreadsheets等)

運作内容托管等大型Web服務需要在動态環境中實作穩定的負載平衡。我們開發了一緻的哈希方案,對每台伺服器的最大負載提供了嚴格的可證明保證,并将其部署到Google Cloud Pub / Sub中的雲客戶。

AutoML

去年,我們展示了如何使用進化算法自動發現最先進的神經網絡架構,快速建構計算機視覺模型的AutoML。還探讨了強化學習如何應用于除神經網絡架構搜尋之外的其他問題,表明它可以用于1)自動生成圖像變換序列,以提高各種圖像模型的準确性,以及2)找到新的符号優化表達式,比常用的優化更新規則更有效。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

我們的另一個重點是自動發現計算效率高的神經網絡架構,以便它們可以在自動駕駛環境中運作,這些環境對計算資源或推理時間有嚴格的限制。為此,我們認為在強化學習架構搜尋的獎勵函數中将模型的準确性與其推理計算時間相結合,可以找到高度準确的模型,同時滿足特定的性能限制。我們還探索了使用ML來學習自動壓縮ML模型以獲得更少的參數并使用更少的計算資源。

TPU

TPU已經實作了谷歌研究方面的突破,例如BERT(前面已讨論過)。它還允許世界各地的研究人員通過開源建立谷歌研究,并尋求自己的新突破。例如,任何人都可以通過Colab免費對TPU上的BERT進行微調,而TensorFlow Research Cloud讓數千名研究人員有機會從更大量的免費雲TPU計算能力中受益。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

在谷歌内部,TPU還推動了Google的核心産品的重大改進,包括搜尋,YouTube,Gmail,Google智能助理,谷歌翻譯等等。

開源軟體和資料集

我們的開源工具TensorFlow已經被下載下傳超過3000萬。2018年,TensorFlow有八個主要版本,并增加了快速執行和分發政策等功能。随着TensorFlow Lite、TensorFlow.js 和TensorFlow Probability等相關産品的推出,TensorFlow生态系統在2018年大幅增長。

除了繼續開發現有的開源生态系統之外,我們在2018年引入了一個新的架構,用于靈活和可重複強化學習的可視化工具,可以快速了解資料集的特征(無需編寫任何代碼)。

今年,我們很高興釋出Google資料集搜尋,這是一種從所有網絡中查找公共資料集的新工具。多年來,我們還策劃并釋出了許多新穎的資料集。

我們釋出了Open Images V4資料集,包含190萬張圖檔,共計600個類别,共标記了1540萬個邊界框,這是迄今的有對象位置注釋的最大資料集。這些邊界框大部分都是由專業注釋人員手動繪制的,確定了它們的準确性和一緻性。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

健康

在過去幾年中,我們一直将ML應用于健康,我們在這個領域的一般方法是與醫療保健組織合作解決基礎研究問題(利用臨床專家的回報優化技術),然後将結果發表在同行評審的科學和臨床期刊上。一旦研究得到臨床和科學驗證,我們就會進行使用者和HCI研究,以了解我們如何在現實臨床環境中進行部署。2018年,我們在計算機輔助診斷上取得新的突破。

2018年,我們研發了一個可以與視網膜專家相媲美的深度學習模型。我們與Verily的Alphabet同僚合作,在印度的Aravind Eye Hospitals和泰國衛生部附屬的Rajavithi醫院等 10多個地點部署了這種糖尿病視網膜病變檢測系統。

谷歌AI負責人Jeff Dean:一文回顧谷歌的2018技術進展

我們還發表了一種機器學習模型的研究,該模型可以評估視網膜圖像的心血管風險,可以幫助臨床醫生更好地了解患者的健康狀況。

研究之外

2018年,我們在加納阿克拉建立了我們在非洲的第一個人工智能研究辦公室,同時擴大了在巴黎,東京和阿姆斯特丹的人工智能研究,并在普林斯頓開設了一個研究實驗室。

本文編譯自《Looking Back at Google’s Research Efforts in 2018》,有删節。

繼續閱讀