大資料的未來，超級人工智能

一，了解大資料

1，目前大資料的四大特征：規模大、變化快、種類雜、價值密度低。

其實這了解起來很簡單，我們來看新浪微網誌的大資料，為什麼變現那麼困難就知道了，新浪微網誌擁有龐大海量的使用者大資料，但用這些行為資料變現卻步履維艱，原因就在于微網誌上所産生的資料不夠垂直，涉及面極廣，而能夠與商業相關的價值就更加難以挖掘了。

2，産業成果

懷校長列舉了三塊内容，百度和谷歌熟悉使用者浏覽行為，進而提供個性化的搜尋。淘寶亞馬遜因為熟悉使用者購物習慣，可以為使用者提供精準的喜好物品。微網誌和twitter了解使用者思維習慣和社會認知，可以為國家和企業提供群眾情緒等系列資料。

二，實踐中的思維轉變

大資料帶給我們在研究以及實踐政策上的思維轉變。

1，從抽樣到全樣

大資料的大決定了大而全的特性，在傳統工業中教會我們做統計的最大方式就是抽樣，諸如系統抽樣，分層抽樣，定額抽樣......，這些統計方法将會在大資料時代越來越不複存在。大資料的資訊化可以統計到一切想要統計的資料，将工業時代的統計方法淘汰掉。

我們将會利用技術獲得一切想要統計到的資料。

2，從精确到非精确

關于這一點其實也很好了解，我們就拿傳統時代的搜尋來說，在傳統的搜尋時代，當我們去查詢某個資訊時，我們需要得到的是全部的資料，但是搜尋引擎則完全改變了我們這種認識，搜尋引擎提供的隻是前幾項内容，而這幾項内容則完全滿足了我們的資訊需求。

搜尋引擎其實在做的是一套模糊算法，經過一系列的算法計算，将最優秀的結果帶到使用者面前，而這種結果上的呈現也颠覆了傳統所認知的對于目标的定義，在大資料時代，我們追求的不再是絕對目标，而是一個從宏觀趨勢下推導出的一些模糊的不精确的未知目标。

我們将追求無限的近似而不是絕對的正确。

3，從因果到關聯

而這也直接導緻了西方又産生了驚人的言論—“理論已死”，這是繼“上帝之死”，“人之死”，“作者已死”“曆史的終結"，“哲學已死”後的又一大膽的言論。以往的決策者要想決定某件事，必須參考各種理論，對其中的因果進行判定後才能達成，但是大資料時代則讓決策變得更加容易，比如超市大資料可能會用清晰的圖表告訴你每當下雨天時，超市裡的蛋糕會賣的多，這時候決策者根本不需要知道任何理論，任何因果，隻需要在天氣預報預測明天将要下雨時提前準備蛋糕就行了。

而這種隻依賴相關性不再依賴因果性的決策思想，正在慢慢的滲透到擁有大資料的各行各業，網際網路業，零售業，旅遊業，金融業......

三，大資料到大資料計算

1，大資料膨脹，如何解決搜尋問題？

傳統的算法在搜尋資料時完全沒有問題，因為資料量很小，但是當資料海量增長時問題就會凸顯出來，用原來的算法去計算肯定是不行的，按照目前最快的硬碟檢索速度(60GPS)，線性掃描完1PB（1024TB）的資料需要1.9天的時間，是以當資料海量膨脹時，必須重構算法政策來做資料的處理。百度目前的處理量是一天處理10PB的網頁資料，這其中包括了運算和讀取，算是目前最好的算法了。

2，大資料膨脹，如何處理算法以及資料的問題？

上面提到的是通過改變算法來達到周遊資料的目的，但是在真正處理資料時依然是無法做到高效的，畢竟機器CPU的運算瓶頸擺在那裡，算法工程師本質上在做的事情就是在現有的運算條件下，設計出最優方案，來求得最好的結果。

而懷校長告訴我們的這個挑戰就是，在大資料的膨脹後，不僅要将原來的算法更換為近似算法，同樣還要将資料更換為近似資料，隻有二者合力改變才有可能在現有機器運算能力的情況下抵達最優的結果。

同樣是說起來容易做起來難，在這樣的近似算法以及近似資料的改變下，到底該近似到何種程度，才能夠最接近原算法的結果？要知道，在計算機世界裡，差之毫厘失之千裡，改變的量也許很小，但是如果一旦改錯，就會造成巨大的錯誤結果，稍懂程式的人都知道，幾行簡短的代碼就能讓無論CPU運算能力多強的電腦徹底當機，而搜尋引擎則更是一個更加龐大的試錯工程。

最後，懷校長展示了兩個學術前沿發展，第一，是定義易解類問題，從現實應用中找到這類易搜尋問題，将之歸類并應用于其他實踐當中。第二，是将大資料進行小資料處理，尋找轉化的精度度量，也就是他之前所說的尋找資料的近似值。

寫完這段不禁感慨，其實算法工程師本質上是在機器CPU條件不夠的情況下為滿足大衆需求的博弈，機器的配置條件永遠無法跟上人類的需求，而為了滿足人類需求，算法工程師們必須絞盡腦汁的去設計在現有條件下能夠産出的最優答案，而不是考慮标準答案。而這又讓我想到了深藍電腦擊敗國際象棋大師的事情，事實上隻要是懂一些程式的人甚至連我也都可以寫出一套能夠擊敗任何國際象棋大師的算法，隻不過要想下完一局棋可能要用盡棋手一生時間都不止，因為CPU的運算速度無法跟上想法。是以深藍電腦的勝利本質上不是人工智能赢了，而是工程師在設計最優算法的政策上赢了。

此外在大資料計算中，懷校長還講了大資料運算的三大基礎，表示，度量和了解。因為太過專業，解釋每一個詞都足夠用一篇文章來解釋，而且還不一定說得清，是以在此略過。

四，大資料軟體工程

作為學軟體工程出生的人，當我看完懷校長對大資料軟體的演講後有一種莫名的傷感，因為我預見到我曾經所學的軟體工程必将被大資料全部重構，絕大多數的軟體都可能走向為大資料軟體，這就好像網頁崛起後，網頁軟體的數量将大幅超過PC軟體一樣，又像智能手機崛起後，APP軟體的數量開始遠超網頁軟體一樣，等到硬體設施成熟之後，未來的軟體開發也必将會是大資料的天下。追溯軟體工程的起源，這是在計算機硬體條件穩定後，為了解決效率問題而從工程學的角度來建立的軟體開發方式，分工明确，進度安排明确，和其他工業生産别無二緻。但懷校長接下來的演講中，我們可以窺見到，軟體工程有可能會走向另一種模式。

1，如何解決大資料的計算支撐問題？

說的簡單點就是，大資料處理必然不是一台或者幾台伺服器就能搞定的小事情，大資料處理需要龐大的硬體支撐，硬體支撐也必然是分布式的設計，那麼該如何設計頂層的系統架構才能高效能的滿足大資料的處理工作？近似性（Inexact）、增量性（Incremental）和歸納性（Inductive）的3I特征如何被滿足？

大資料下分布式硬體如何與軟體協同，如何避免擴充失度，處理失效和耗能失控，這些都是令人頭大的問題。在系統設計上充滿挑戰。

2，衆包大資料是否可以開發軟體？

這其實是一個非常瘋狂的想法，我是這樣解讀懷校長的想法的，假設目前我們可以做到衆包大資料軟體開發，那麼情形應該如下：大資料爬行機器根據讀取新浪微網誌的資料，百度指數的資料，百度貼吧的資料，淘寶的交易資料……後，發現了使用者的各種情緒以及需求的曲線，軟體開發者再根據這些資料的呈現開發出一套軟體的模型然後交給營運商放置于雲端，而使用者再參與進入各種雲端産生的軟體，在此種産生了各種行為，于是機器再根據這些使用者的行為，為軟體模組化，規劃。

這是一種極為精尖互動式資料挖掘技術，前提是解決算法以及存儲問題，一切皆有可能。未來的大資料軟體将不會是一種固有形态，而是一個不斷根據資料自動變化的超級生态，可能不是依靠産品經理推動，而是依靠算法工程師來推動，讓使用者的需求自然暴露，然後為他們去實作一些功能。

而我從一個更高的哲學層面來看這樣的大資料軟體建構，如果我們将全人類的群體行為看成是不斷運作産生的資料，然後我們某些個體從中把握了某些東西進而産生了各種産品，再回過來看這樣的大資料軟體架構，其實說到底，這樣的大資料軟體，其實更像是在将我們的世界還原出來而已，隻不過會比人做出來的更快更厲害更加完美。

如果真的能夠實作這樣的大資料軟體建構，那麼目前對大資料的某種定義将被完全推翻，在我們眼裡大資料不過是用來固定的人類資訊行為後為人類輔助的決策工具，這樣的觀點也将失效。大資料或許會在未來某個階段被定義為：對人類世界的真實還原，并且不斷的滿足我們的任何願望，曾經我們依靠它來決策一些事情，現在我們依靠它來直接抵達我們想要做的事情，我們所有的行為都已經成為我們決策的一部分。

這其實就是超級人工智能了。

結語：懷校長的演講在開頭部分講了大資料在這個時代對我們傳統思維的沖擊，一些價值觀的建立，但是接下來講的更多的不是已經成型的科研成果，更多的是抛出問号，抛出還沒有解決的難題，以及一些失敗的嘗試，還有一些沒有開始嘗試的假設，這在表面上看來似乎與本次演講的主題有些唱反調的樣子，但仔細想想卻又明白，CPU的計算能力永遠達不到這些最頂級的科研人員想要的高度，而計算機科學家們永遠隻能在現有的條件下做困獸鬥，做出在這個時代所能賦予的條件下最漂亮的成績，而這就是他們一生所追求的使命。