這項全新的遠大戰略旨在把強大得超乎想象的計算能力分布到衆人手中。
這是一個簡單的問題，是克裡斯托夫·比希利亞為信心十足的Google應聘者們出的一道題。作為Google公司的進階軟體
工程師，27歲的比希利亞留着一頭卷曲的長發，他希望了解這些大學大學生是否已經準備好以Google人的方式去思考。“告訴我，”他問道，“如果有1000多倍的
資料量，你将怎麼辦？” 真是個奇怪的問題。假如他們真的跑回學校，愚蠢地想要去處理容量多達1000多倍的細節資訊，那麼學校的
伺服器恐怕會被拖累得慢如爬蟲。
比希利亞将在面試中闡釋他的問題。他告訴應聘者，要想在Google發展，就必須學會從更寬廣、更宏觀的角度來工作和思考。他描述了Google全球運作的
計算機網絡。的确，這些裝置可以實作對搜尋需求的即時回饋；而當形成叢集，它們則能更快地處理浩如煙海的資料，其檢索答案或指令的速度将超過世界上任何一台單機。絕大部分硬體裝置并非安放在Google公司園區，而是在園區之外，沒準就在地球上某個大型冷卻資料中心裡高速運轉着。Google内部把這種大規模
計算機叢集稱作“雲”。在Google，工程師程式設計過程中碰到的一大挑戰便是如何駕馭“雲”=? 提高它的資料處理能力進而大幅領先于小型計算機群。比希利亞表示，Google的新員工通常要花費數月才能習慣從這種角度思考比希利亞認為，Google的新人所需要的是進階教育訓練課程。2006年秋季的一天，當他在會議間歇偶遇公司首席執行官埃裡克·施米特時，他腦海裡浮現出一個想法。他将利用自己的“20%時間”（即Google配置設定給員工用于獨立開發項目的時間）來啟動一門課程，這門課程将在他的母校華盛頓大學進行，着重引導學生們進行“雲”系統的程式設計開發，他設想把這個項目命名為Google 101。施米特很是欣賞這一計劃。在接下來的數月中，比希利亞的Google 101計劃不斷發展和深化，最終促成了Google與IBM在2007年10月開展了一次雄心勃勃的合作---把全球多所大學納入類似Google的計算“雲”中。
随着“雲”概念影響的擴大，Google在産業中的足迹必然會遠遠超出搜尋、媒體和廣告領域，進而使這家IT巨頭得以涉足科學研究甚至更新的業務領域。在這一過程中，Google在某種意義上可能會成為世界上首屈一指的超級計算機。 “我最初以為（比希利亞）不過是想在教育上做點事情，這當然也不錯，” 施米特最近一個下午在Google總部回想道，“9個月後他拿出了新戰略（即‘雲’計劃），太出乎意料了。”随着自身的不斷拓展，“雲”計劃将為學生、研究人員和企業家們提供Google式的無限的計算處理能力，不論是通過Google自身的裝置或是通過提供相同服務的其他廠商。
Google的“雲”到底是什麼？它是由幾十萬甚至大約100萬台廉價的伺服器所組成的網絡。這些機器單個而論的話，其性能并不比家用桌上型電腦強大多少。但是這個網絡存儲的資料量驚人，能容納不計其數的網絡資料拷貝，是以搜尋速度能夠更快，在眨眼之間便能為數十億的搜尋送出答案。與許多傳統的超級計算機不同，Google的系統永遠不會老化。如果網絡中某一台機器落伍（通常在使用3年後），工程師們就會把它淘汰，而代之以性能更強的新款計算機。這意味着，“雲”幾乎就像生物一樣能長生不老。
向“雲”規模的資料處理邁進标志着我們在資訊處理方面發生了翻天覆地的轉變。從最基本的層面講，“雲”的發展就如同100年前人類用電的程序演變，當時的農場和公司逐漸關閉了自己的發電機，轉而從高效的發電廠購買電力。Google的高管們很早前就開始展望這一轉變并為之進行籌劃準備。以Google裝置為核心的“雲計算”完全符合由該公司創始人謝爾蓋·布林和拉裡·佩奇10年前提出的遠大構想：“建構起跨越全世界的資訊，供人們随時随地通路。”比希利亞的想法剛好為實作這個構想開辟了一條道路。“沒準他腦子裡早就有數，隻是沒告訴我，”施米特表示，“我開始沒有意識到他将試圖改變計算機專家對于計算的固有想法。這個目标太偉大了。”
單行道
對于小型公司和企業主而言，“雲”意味着機會，在密集型資料處理領域這一競技場中，它就像是一道标準線。今天，掌控“雲”系統的網際網路巨頭中，隻有少數幾家擁有吞吐海量資訊并開展相關業務的資源。我們的文字、圖檔、點選和搜尋全都是這個産業的原材料。一直以來，很大程度上這是一條單行道=? 人們産出資料，Google、雅虎和亞馬遜等公司則将資訊轉化成觀點、服務，最終變成收入。這種狀況已開始發生改變。2006年，亞馬遜向付費使用者開放了自己的計算機網絡，調動新的參與者加入“雲”計算，而無論其規模大小。一些使用者隻是簡單地将資料庫存儲在亞馬遜，另一些則使用亞馬遜的伺服器搜尋資料或建立網絡服務。2007年11月，雅虎也将一個電腦叢集（即小規模的“雲”）開放給卡内基-梅隆大學的研究人員。微軟同樣通過開放伺服器群來加深與科學研究團體的聯系。市場調查公司IDC的進階分析師弗蘭克·金斯表示：随着這些“雲”的發展，“新興的網絡公司将有望造訪這些伺服器。這就如同在播撒Google種子”。随着搜尋新材料和藥品的資料處理實驗室把工作室搬到了“雲”上，這些新公司很多将會出現在科學和醫藥領域。
要想讓“雲”發揮出潛能，與此相關的程式設計和操作就應該與使用網際網路一樣簡單。分析家稱，這給“雲”搜尋及其相關的軟體工具打開了增長的市場，對于Google及其競争對手來說，這可謂唾手可得的業務。Google将為使用者提供多少存儲容量，或以什麼形式、什麼價格提供，對于這些，施米特都不會明說。“通常來講，我們開始時會采取免費政策，”他表示，并強調大客戶“應該很有可能負擔一些費用”。那麼這些“雲”能發展到多大的規模呢？“無限大，”施米特表示。随着“雲”政策的展開，更多人看到Google随時做好了成為下一代計算的主導力量的準備。“Google渴望占據“雲計算”市場中相當的份額，或成為每天都與普通人打交道的‘雲’，”施米特說道。那麼有什麼樣的商業計劃呢？就目前而言，Google仍将繼續植根于核心業務，這一業務給它帶來了滾滾的廣告收入。從投資角度來說，“雲”計劃在初始階段不過是像雷達螢幕上顯示的一個小光點。它在遠處盤旋，目标很大卻煙霧彌漫，很難拼湊在一起，但仍充滿着無限可能。就在那次比希利亞趁機和施米特談論Google 101時，改變計算和科研的現狀還并不是他的主要意圖。他自己說，當時真正想做的是傳回學校。與公司裡很多已拿到博士學位的同僚不同，比希利亞剛從華盛頓大學畢業就被Google錄用，他甚至沒讀過碩士研究所學生。是以他渴望從Google的日常工作中抽出時間換換腦子。在Google，比希利亞每天都需要從較高價的電梯大廈搭乘班車長途跋涉到公司，然後開始10小時的搜尋運算法則的編寫工作。他想回到西雅圖，哪怕每周隻有一天，回到學校去和他的教授兼導師埃德·拉佐斯卡一起工作。
在突發靈感想到“雲”計劃并直接和老闆詳細讨論之前，比希利亞并沒多加考慮。他和施米特已相識數年。他5年前剛入職Google時還隻是一個年僅22歲的程式員，其工位就在首席執行官的辦公室附近。比希利亞回憶說，他走進辦公室時被一架飛機模型所吸引，這讓他想起母親在美國聯合航空公司從事的空乘工作。自然而然地，他與話語溫和、有學者派頭的施米特聊起了資料計算，那種感覺就像在大學一樣。後來雖然比希利亞搬到了其他辦公樓，但兩人仍然保持着聯系。在他們第一次讨論“Google 101”計劃的那一天，施米特提出了很好的建議：把項目縮減到比希利亞能在兩個月内完成的規模。“我實際上沒太在意他的話，”施米特回憶說，但是他想盡快給這位年輕的工程師發出回報。他說，即使比希利亞失敗了，但“他很聰明，一定能從失敗中獲得經驗”。
要順利啟動“Google 101”計劃，比希利亞必須把項目的來龍去脈和Google“雲”的些許魔力透露給合作對象，同時又不能深入“雲”本身或揭示出核心機密。這些機密會激發計算機學家無窮無盡的思考，Google對此守口如瓶，畢竟這台“超級計算機”是公司營運的支柱，它能自動處理
搜尋、放置廣告、傳遞電子郵件等業務。計算機在從事這些工作，而包括比希利亞在内的上千名Google工程師僅僅隻是“服侍”着它。他們“教授”系統新的技術或為它尋找新的主攻市場，同時在其中添加新的叢集，2007年一年就增加了4個新的資料中心，平均每個成本達6億美元。在搭建這台“計算機”的過程中，在搜尋領域名聲大震的Google随時準備扮演計算機業的新角色。不久之前，科學家和研究人員曾期望國家實驗室能啟動資料計算方面的前沿研究。如今，IBM負責開放系統開發的副總裁丹尼爾·弗賴感歎：“Google現在做的事情10年前隻有在國家實驗室才能實作。”
那麼，比希利亞如何讓學生們通路這台機器呢？最容易的方案當然是直接從學校連接配接專線到Google伺服器。然而公司并不準備徹底放手讓學生們随意通路這台裝有授權軟體、存儲着私人資訊以及營運着106億美元業務的計算機。比希利亞是以購買了價位适中的40台計算機組成叢集。他發出訂單後開始琢磨如何給這些伺服器付錢。就在賣家組裝電腦叢集時，比希利亞告訴Google的幾名經理将出現一大筆賬單。之後他“拿着花銷報告從下到上請示了一通，結果沒人反對”。說到這裡，他又加上自己喜歡的一句格言：“請求原諒比尋求準許容易得多。”
狂熱的學習者 2006年11月10日，排成陣列的計算機群出現在華盛頓大學計算機科學學院的教學樓裡。比希利亞和幾個技術負責人得想辦法把将近1噸重的機櫃擡上4層放到機房裡。他們最終解決了這個問題，并準備在第二年1月開始上課。
比希利亞的母親布倫達說，她的兒子似乎從小就注定要走一條不平凡的道路。他直到兩歲才開口說話，但很快就開始成句成句地說。最早的一次是家人開車行至離家不遠的華盛頓吉格港時，一隻小蟲子從打開的車窗飛進來，隻聽到從後排座傳來比利亞的聲音：“媽媽，有一件物體在我嘴裡。” 在學校裡，這個男孩沒完沒了的提問和飛快的學習進度惹惱了老師。父母看到他很傷心、很受挫，便把他帶回家教了3年。比希利亞說，那段時間他失去了很多小夥伴，但是學會了如何成為一個生意人。他對冰島野馬興趣濃厚，并在十六七歲時投身到養馬行當。他的父親吉姆回憶道，一次，他們開車一直向北行駛到馬尼托巴買了馬匹，卻并沒有考慮如何把它們運回家。“整個旅行就像塞維·蔡斯電影裡的場景，”他說。比希利亞學會了用計算機為他的販馬事業和父親的豪華遊艇業務制作網頁。比希利亞斷定計算機比養馬更有前途，是以義無反顧地報考了華盛頓大學，并選修了盡可能多的學科，包括數學、實體和計算機相關學科。
2006年年末，當比希利亞往返于Google大廈和西雅圖之間籌備“Google 101”計劃時，他運用生意人的技巧，招募了一支組織松散的志願者隊伍。他和學院的實習生一起設計課程，還在Google公司位于學校附近的華盛頓州科克蘭德分部拉攏部分同僚，讓他們抽出20%的時間來幫忙教課。比希利亞聽從了施米特的建議，把“Google 101”集中在學生們在學習過程中容易上手的方面。“我基本想的是，什麼課程我能在兩個月裡教會他們，同時又真正有用和重要？”他回憶道。最終他的答案是MapReduce。比希利亞十分推崇MapReduce，這是Google資料計算的核心軟體。公司著名的搜尋運算法為每一次搜尋提供資訊，MapReduce則傳遞出速度。它把每個任務分解為成百甚至上千塊小任務，然後發送到計算機叢集中。眨眼之間，每台計算機傳送回自己的那部分資訊，MapReduce則迅速整合這些回報并形成答案。雖然也有一些技術具有同樣的功能，但MapReduce速度更快且顯示出幾乎可以解決無限任務的能力。提到MapReduce，比希利亞變得十分興奮和狂熱：“我記得剛畢業時來到Google學習MapReduce，這的的确确改變了我對計算機科學乃至所有事情的想法。”他把該軟體稱為“非常簡單卻極其卓越的模型”。這個軟體是由其華盛頓大學校友傑弗裡·迪安開發的。是以通過回到母校教授MapReduce，比希利亞會将這個軟體和“這種思考方式”帶回源頭。
隻有一個阻礙。MapReduce曾經安全地“沉寂”在Google主機中=? 而且不允許外界使用，對于“Google 101”項目也一視同仁。Google曾拿出一部分相關資訊與他人共享，以開發開源版本“Hadoop”。當時的想法是在不洩露核心技術的前提下，推動自身的标準成為“雲”計算的體系結構。開發Hadoop的團隊屬于一家名為Nutch的公司。說也奇怪，這家公司現在歸入雅虎麾下，雅虎希望依靠MapReduce的衍生産物給自己的資料計算提供一點Google“雲”的魔力。好在Hadoop仍然保持開源狀态，這意味着Google團隊能對其加以應用并可免費安裝在華盛頓大學的計算機叢集中。
“Google 101”一出現在冬季學期的課程安排中，學生們立即蜂擁而來選修這門課程。起初比希利亞和Google的同僚們嘗試自己教課，不過後來他們及時地把這一工作轉交給華盛頓大學的專職教員。“他們的講解更加清晰，”比希利亞表示。接下來的幾周裡，學生們學習如何調整自己的程式來适應Google計算機，并雄心勃勃地設計開發網絡規模的項目，這些項目涵蓋了從維基百科的編輯分類到網際網路垃圾郵件的鑒别處理等各個方面。2007年的整個春天，有關這門課程的消息不胫而走，其他大學的院系也開始要求參與“Google 101”計劃。很多人迫切渴望了解“雲”的相關知識和計算能力，特别是在科研方面的計算。實際上在每個領域，從各種傳感器、分析裝置以及先進的測量工具産生的大量新資料浩如煙海，讓科學家們大傷腦筋。這些資料可能用于開發新藥品和療法、制造新的清潔能源、甚至預測地震，然而絕大多數科學家缺少裝置來存儲和篩檢這些“資料寶藏”。“我們真是被淹沒在了資料裡，”美國國家科學基金會的助理主任周以真（Jeannette Wing）表示。
IBM的慷慨
對Google計算能力的巨大需求倒是把比希利亞難住了。他能完成第一批計算機叢集的采購安裝已經算是很幸運了，可是他能像這樣一次又一次、最終在每個計算機學院都裝上一個微型的Google“雲”嗎？當然不現實。為了把“Google 101”計劃擴充到全球各地的大學，各參與方必須要接入到共享的資源中。是以比希利亞需要一個更大的“雲”叢集。幸運之神随着IBM董事長彭明盛突訪Google大廈而降臨。這天成了“Google的彭明盛日”，一位IBM的研究員表示。那是一個冬日，如果要在Google園區裡來場沙灘排球可能會有點寒冷，不過彭明盛中午在Google的餐廳體驗到了傳說中的免費大餐。随後，他和他的團隊與施米特以及包括比希利亞在内的十幾名Google工程師座談交流，他們在白闆上寫寫畫畫、讨論着“雲計算”。IBM一直希望部署“雲”系統來為企業客戶提供資料和服務。與此同時，在彭明盛的上司下，IBM已經成為Linux系統等開源軟體的領先倡導者。這可是藍色巨人在軟體戰役中的重點，尤其是在對抗微軟的戰鬥中。如果Google和IBM在“雲”上合作，它們可能共創這種基于Google标準（包括Hadoop版本）的“雲計算”的未來。
Google當然已在這個項目上先行一步，即比希利亞的“Google 101”計劃。就在會面的當天，比希利亞小小的實踐成為由兩家技術巨頭的首席執行官支援的一項重大計劃的開端。當彭明盛那天下午離開Google時，比希利亞和IBM公司的丹尼斯·全就被指派組建Google-IBM的聯合大學“雲”的原型。在接下來的3個月中，他們在Google總部并肩作戰。（比希利亞說，從那時起“雲”計劃從“20%時間”變成了他的全職工作。）他們的主要工作是把IBM的商用軟體和Google的伺服器進行整合，并裝配大量包括Hadoop在内的開源程式。2007年2月，他們在加州山景城向高層上司、同時通過視訊向位于紐約阿蒙克的IBM總部人員首次展示項目原型。丹尼斯·全用手機從“雲”叢集中下載下傳資料，讓在場人員贊歎不已。（比希利亞說，雖然與核心項目關系不大，但這的确是場很精彩的演出。）
“Google 101”計劃獲得了通過。這一計劃是首先将“雲計算”用一年時間擴充到全美的多家大學，之後在全球部署。各所大學将會繼續開發“雲”，建立工具和應用程式，同時培養出大批的計算機科學家來繼續建設和管理“雲”。那些開發者應該能在Google這樣的網絡公司找到工作。施米特喜歡把這些資料中心比作極其昂貴的粒子回旋加速器。“實體界隻有幾台粒子加速器，”他說，“每一台都十分重要，因為你如果是個頂尖的實體學家，你需要在有粒子加速器運作的實驗室工作。那才是創造曆史的地方，那才是誕生發明的地方。是以我想，假如你把‘雲’當作由小型計算機群組成的超級計算機，那麼從科學觀點講，我們擁有最能吸引人才的那種計算機。”
随着商用和科學資料量日益壯大，資料計算能力轉變成一種戰略種資源和一種資本。“從某種意義上說，”雅虎研究主管普拉巴卡·拉加萬表示，“世界上不過有5台真正的計算機。”他意指Google、雅虎、微軟、IBM和亞馬遜這幾家公司。他表示，除此之外，沒有哪家能有相似的實力把“電流”轉化為資料計算能力。毫無疑問，各種商業模式都會進化。Google及其對手能與客戶合作、或許是通過交換計算能力來取得資料的通路權。它們可以在“雲”中引入合作夥伴進行次級項目的開發，比如公司在2007年11月宣布的清潔能源計劃。行業分析家表示，随着大型資料中心電費開支每年以2000萬美元的速度上升，也隻有Google能夠以其智力資源和伺服器容量來承擔重任，以圖在尋找創新能源方面取得突破。
用于研究的“雲”會是什麼樣子？微軟負責外部研究的副總裁Tony Hey介紹，他們把“雲”建成大型的虛拟實驗室，應用新一代管理程式配以适當人工來管理資料，分級别适度開放給研究人員。他說，授權使用者将開發出新工具、補充新資料，并與各地同僚廣泛共享。據他預測，在這些新的實驗室中，“你可以通過分析從别人那裡彙集來的資料赢取諾貝爾獎”。位于加州Almaden的IBM研究營運部門負責人馬克·迪安表示，短短幾年内，商用和科學用途的結合将産生“雲”網絡，我們盡可放開想象。“與這個相比，”他說，“現在的網絡微不足道。我們将會嘲笑現在的網絡實在太小。”然而，如果這個“太小”的網絡對于Google帝國發展都已經足夠大了，那麼沒人能預測巨型的“雲”網絡可以提供什麼樣的機會。 2007年11月的一天，比希利亞剛剛從中國回到美國，還沒來得及倒時差。他在中國的幾所大學介紹了“Google 101”的計劃。他的時間表排得滿滿當當，不僅要和IBM共同建立“雲”叢集，還需要處理華盛頓大學、加利福尼亞大學伯克利分校、斯坦福大學、麻省理工學院、卡内基-梅隆大學以及馬裡蘭大學等6所高校“雲”計劃啟動的相關事宜。此時，他把一位攝像師請到會議室，線纜和燈光占滿了整張桌子。他将錄制一段有關“雲”教學的宣傳片，這段視訊或許會選擇在YouTube網站釋出。
埃裡克·施米特走了進來。52歲的他幾乎比比希利亞年長一倍，與愛徒清瘦的體格相比，他顯得強壯不少。比希利亞把他引到錄影機面前并解釋這個宣傳計劃。他們會錄制采訪中的音頻，再拍幾個施米特的單人正面鏡頭。比希利亞把這些鏡頭稱為“B級膠片”。施米特同意了計劃并落座下來。他想到了更好的主意，他告訴攝像師拍下全景而省略單人鏡頭。的确，他和比希利亞忙得怎麼有時間單幹呢？
轉載于:https://www.cnblogs.com/kaixin110/archive/2008/03/19/1113061.html