【51cto.com原創稿件】在萬物智能互聯時代，數以億計的智能互聯裝置及其産生的資料洪流帶來了産業的數字化變革。越來越多的企業希望借助機器學習與深度學習，從海量資料中擷取切實可行的洞察以指導企業決策、創造更多價值。借助計算、存儲和網絡等基礎設施的優勢，英特爾在資料分析與人工智能領域深耕已久，并通過與合作夥伴的合作，給使用者提供了端到端的軟硬體全平台解決方案。近期，由o'reilly media和cloudera聯合舉辦的strata data conference大會在京召開。期間，筆者受邀采訪了英特爾公司軟體與服務事業部副總裁、系統技術和優化部門大資料技術總監馬子雅，英特爾大資料首席架構師、資深首席工程師戴金權，cloudera聯合創始人兼首席技術官amr awadallah，以及cloudera 大中華區總經理、公司副總裁淩琦，就英特爾與cloudera在資料分析和人工智能方面的合作話題進行了探讨。
倍數提升的資料分析性能
7月12日，英特爾正式推出了至強可擴充處理器，由于采用全新的核心微架構、核内互聯和記憶體控制器，是以基于至強可擴充處理器的平台提供了更加優化的資料中心和網絡基礎設施所需的性能、可靠性和可管理性，使得企業獲得更高性能，将洞察付諸實施、實作業務連續性，并滿足實時服務傳遞方面的需求。
英特爾提供的資料顯示，與上一代産品相比，英特爾至強可擴充處理器的整體性能提升達1.65倍，oltp倉庫負載比目前系統提高達5倍。借助英特爾avx-512以及內建英特爾opa端口，英特爾至強可擴充處理器可将每秒浮點運算性能最高提升到2倍。相比上一代産品，英特爾至強可擴充處理器的大資料工作負載基本性能提升了2.7倍，針對深度學習訓練和推理可提供高達2.2倍的性能。結合可加快傳遞人工智能服務的軟體優化，相比3年前未經優化的伺服器系統，全新的處理器可實作113倍深度學習性能的提升。
除了硬體更新之外，英特爾與cloudera深度合作，在軟體方面進行了全面優化。優化之後，hbase非堆存儲讀操作性能提升了5.6倍，在沒有增加任何硬體成本的情況下，阿裡巴巴在“雙11”時把hbase的throughput提升了30%，吞吐量提升了30%。此外，把mkl應用到使用者spark機器學習的工作負載中，并實作了4.3倍的性能提升。
英特爾公司軟體與服務事業部副總裁，系統技術和優化部門大資料技術總監馬子雅表示，英特爾通過硬體更新和軟體優化來幫助推進技術民主化，至強可擴充處理器已經正式推出，硬體更新已經完成。通過與合作夥伴的合作，對軟體進行全面優化，性能和成本效益都有了前所未有的提升。并且，英特爾已經将所有的軟體優化代碼全部貢獻給了開源，并包含在最新的cloudera發行版中。
深度學習存在着四大痛點
很多使用者認為深度學習的主要痛點是性能，隻要有足夠強大的性能，即可以解決深度學習存在的各種問題。在馬子雅看來，性能并非深度學習的主要痛點，使用者的真正痛點主要有四個方面。
一是如何利用已有的海量資料分析平台，比如hadoop、spark，或者是跟已有的分析應用程式直接結合，而不是單獨作為一個分開訓練的功能存在。
二是如何将深度學習在一個叢集上進行擴充，不是在一個或者兩個分布式的節點上。這也是目前許多軟體公司開始把spark跟caffe、tensorflow進行結合，把已有的深度學習架構跟spark可擴充性結合到一塊兒，來解決高效可擴充性痛點。當然，由于 caffe、tensorflow并不是為擴充性設計的，也不是為spark設計的，當把兩個方案結合到一塊兒時，根本無法實作資料并行跟模型訓練并行，隻是表面把這兩個産品黏合到一塊兒去，根本無法做到真正的分布式的深度學習的功能。
三是如何解決深度學習高昂代價的問題，使用者不希望部署一個非常昂貴的新叢集，而是利用已有叢集添加深度學習功能。
四是如何用高性能來縮短模型訓練的周期。
基于以上四大痛點，英特爾推出了bigdl。bigdl是在spark的基礎上建構了分布式深度學習的架構，将以往的深度學習架構同spark結合之後，優勢非常突出。
首先，bigdl深度學習功能與已有深度學習架構功能完全一緻，例如caffe、torch、tensorflow等，功能相當豐富。第二，bigdl能夠無縫與spark和hadoop進行結合，直接在大資料平台中應用。第三，bigdl能夠利用spark的可擴充性做到資料并行，擁有強大的可擴充性，可以在一個叢集上進行擴充，并且非常容易擴充到上百個節點。第四，低成本。由于可以利用bigdl在已有的叢集上直接生成深度學習，是以成本非常低。最後，高性能。通過利用英特爾優化過的數學核心函數庫和多線程優化方法來提升bigdl的性能，特别是在至強伺服器上，性能優勢非常明顯。
馬子雅表示，今年第一季度，bigdl已經釋出了一個版本，第二版本将會在今年7月推出，與第一版本相比，它在python api的支援，尤其是對支援載入caffe、torch、tensorflow的預訓練模型上有了很大的提升。另外，在使用者體驗，包括提供一些更豐富的rnn的支援上，第二版本将會更加全面。
深度合作推動人工智能落地
英特爾與cloudera主要在三個方面達成了深度合作，一個是英特爾将會與cloudera共同進行軟體優化，并利用英特爾最新的硬體技術來做一些合作。二是在開源方面英特爾與cloudera的所有合作都是最先到開源，貢獻給開源。之後cloudera會把功能從開源裡再放到自己的解決方案和産品當中去。三是共同合作項目，一起幫助使用者解決問題。
cloudera聯合創始人兼首席技術官amr awadallah表示，cloudera資料科學平台是一個非常好的深度學習解決方案，完美滿足了不同的甚至是互相沖突的訴求。數學科學家利用cloudera平台程式設計，開發諸如spark或者是python等等不同的語言，并能夠加入一些新的庫，例如tensorflow和bigdl。他表示，目前正處在人類曆史上最偉大、最重要的一次轉型，那就是決策的自動化，它的重要意義絕對不會弱于先前出現的工業革命，cloudera和英特爾密切合作共同推動浪潮向前發展。
馬子雅表示，英特爾在資料分析應用和人工智能方面的承諾從來沒有改變，我們希望給使用者最佳的使用者體驗。一是通過硬體的更新和軟體優化來推進技術民主化;二是為新興的需求提供新興的解決方案;三是跟使用者合作，推動創新，為使用者解決最新、最複雜的問題，來幫助使用者最大化其商業價值。
作者：zc
來源：51cto