作業系統頂級會議SOSP 阿裡雲MaxCompute開啟NewSQL時代

　　近日，第26屆作業系統原理大會（SOSP）在上海舉行，來自亞洲、歐洲、北美等地區的高校、學術機構和衆多科技企業研究人員齊聚一堂。阿裡巴巴受邀參加此次會議，除在展區展示系統軟體技術的同時，阿裡集團副總裁周靖人在BOF環節向參會人員介紹了阿裡在資料庫、計算、機器學習、網絡等領域的多項重點技術。

　　SOSP和另一個計算機系統領域會議OSDI同被譽為作業系統原理領域的奧斯卡，擁有極高的學術地位，參會人員在學術界、工業界取得的成績是衡量能否參加SOSP的重要名額之一。

阿裡巴巴BOF現場

　　在主題為“Big Data Infrastructure at Alibaba：Challenges and Opportunities”的BOF環節，周靖人表示：“阿裡經濟體橫跨電商、金融、物流、雲計算、大資料、全球化等方方面面。2016年GMV(交易總額)突破5000億美元、在零售平台上的年度活躍消費者達到4億多，差不多相當于中國總人口的1/3；移動月度活躍使用者更高達5億多。如此大規模的使用者數、交易數，讓阿裡擁有世界上最複雜、最豐富的計算場景、網絡場景、機器學習場景，也讓阿裡巴巴成為世界上最大的技術練兵場。”

阿裡集團副總裁周靖人（右四）和參會學者合影

　　周靖人認為正是基于這樣的背景，使得阿裡在分布式計算、大資料處理、機器學習、圖計算、網絡系統等方面，取得了世界級的成果。希望通過SOSP，和作業系統領域的研究人員架起一座與學術界溝通的橋梁。

　　融合SQL和NoSQL優勢 阿裡在NewSQL上的實踐

　　阿裡巴巴計算平台研究員林偉在主題為“NewSQL for BigData Analyzing In Alibaba”的演講上，介紹了阿裡大資料計算服務MaxCompute在NewSQL上所做的優化和實踐工作。

　　“阿裡推出NewSQL的目的就是要将SQL和NoSQL的優勢結合起來”，林偉表示，從行業看，實作SQL和NewSQL兩者間平衡，有多個關鍵技術要做好，包括需要有強大的DAG執行圖以突破MapReduce的束縛；需要強大的優化器，實作存儲過程的支援，從單一語句到成千上萬的存儲過程，從RuleBased Opt慢慢演變成CostBased Opt；以及通過分布式實作衆多使用者自定義函數（UDF）擴充，進而幫助使用者生成好的Plan。

優化器與UDF的結合效果

　　林偉表示，強大的優化器，能夠處理好NoSQL引入的模糊的資料特性，并且能夠優化更大規模的任務進而發揮全局優化的能力，需要cost-based的優化器能夠很好感覺資料和環境的變化，進而自适應産生最優的執行計劃，并通過完整且豐富的UDF集合，做到邏輯計劃和實體計劃完美的融合，提高整個計算引擎的表達能力和系統智能優化的能力。

　　據了解，阿裡巴巴MaxCompute采用抽象的作業處理架構，将不同場景的各種計算任務統一在同一個平台之上，共享安全、存儲、資料管理和資源排程，為來自不同使用者需求的各種資料處理任務提供統一的程式設計接口和界面。提供了資料上傳下載下傳通道，NewSQL、機器學習算法、圖程式設計模型、流式計算模型多種計算分析服務，并且提供了完善的安全解決方案。MaxCompute正在通過阿裡雲平台，為百萬級企業級使用者提供服務。

　　首秀阿裡新一代圖計算引擎FLASH

　　作為人工智能技術的有效工具之一，圖模型能夠整合多樣化的資料，幫助挖掘大資料隐含的深層資訊和商業價值。

　　阿裡巴巴計算平台資深專家錢正平現場分享了阿裡在圖分析方面的應用案例，總結了圖存儲與查詢、疊代計算、模式比對和可視化等方面的進展，同時也提到了目前面臨的挑戰。

分布式系統發展趨勢與多樣化場景的挑戰

　　“圖計算”正變得越來越重要，阿裡巴巴包含搜尋推薦、個性化，以及智能風控等越來越多的應用場景，使用圖模型為異構資料的分析提供了統一視圖。結合算法與可視化技術，線上服務能夠有效地捕捉資料之間的關聯、了解使用者行為和意圖。

　　錢正平表示，阿裡巴巴已經通過真實場景積累了很多解決方案，并正在研發新一代的圖計算引擎FLASH。相比業界和大部分開源圖計算系統關注相對簡單的圖周遊查詢和計算全圖屬性（如PageRank)，FLASH旨在幫助使用者更好的探索、發現、比對，甚至線上檢測複雜的“圖模式”。另一方面，面對海量的圖資料與多樣化的場景（如上圖所示），我們仍然需要更多易用、高效的大（圖）資料分析工具。“阿裡巴巴期待與學術界同行和領域專家緊密合作，通過解決真實問題，共同探索關鍵的系統抽象和做出更多有影響力的創新”。

　　同時支援TCP和RDMA的軟硬體一體化網絡

　　阿裡的人工智能，大資料和雲業務的快速發展給網絡基礎設施提出了更高的要求，8年“雙十一”業務規模增長上百倍，系統的規模和複雜性以指數級上升，上層業務比以往任何時候都更需要高帶寬和低延遲的網絡。

　　例如在資料包的處理能力上，随着摩爾定律趨于終結，CPU性能的提升開始落後于網絡端口速率和帶寬增長，越來越多的CPU資源被用于網絡資料包的處理上，極大影響了上層業務提升性能的成本。與此同時，除了高帶寬、低延遲需求，上層業務仍然依賴網絡在提供複雜的安全、負載均衡和可視化等網絡功能的同時滿足高穩定和高可用需求。

　　為應對這些挑戰，阿裡巴巴AIS(Alibaba Infrastructure Service)網絡團隊開始了軟硬體一體化的高性能網絡建設，在支援RDMA實體網絡、基于智能網卡硬體加速的虛拟網絡等領域沉澱了諸多技術。

阿裡巴巴軟硬體一體化的高性能網絡

　　阿裡巴巴基礎設施進階專家劉永鋒介紹，阿裡是國内首家大規模支援RDMA的網際網路公司，網絡架構同時支援TCP和RDMA，端到端的保證基于TCP和RDMA不同業務的高帶寬和低延遲。在保證性能的同時，阿裡RDMA網絡架構能夠做到相容多家廠商的硬體，自動化的監控和隔離線上網絡故障。在網絡虛拟化方面，阿裡經過了兩代智能網卡的演進，從基于可程式設計NPU的vSwitch full offload到基于ASIC硬加速的快慢分離架構，在滿足高性能、低成本的同時，通過軟體定義的方式給大資料業務提供了滿足業務靈活排程的虛拟網絡方案。

　　此次的SOSP會議上，阿裡除了在BOF環節向參會者介紹阿裡的部分重點技術外，來自系統軟體事業部的進階專家秦承剛在展區為更多參會者介紹了阿裡的系統軟體内容。

清華大學陳渝（左一）、陸遊遊（右一）老師與阿裡工程師合影

　　據秦承剛介紹，系統軟體是運作在阿裡集團所有機器上的基礎軟體，對阿裡巴巴業務的運作效率起到了非常關鍵的作用。此次重點展示的技術包括基于阿裡場景的定制版Linux核心--AliKernel，它實作了程序間的資源隔離，面向容器場景的優化等技術。Alikernel的代碼會回饋到社群，擁抱開源；基于OpenJDK定制的增強版JDK--AJDK，有效提升了阿裡巴巴Java應用的性能、吞吐能力和問題解決的速度；以及資源排程系統Sigma、阿裡自研的開源容器Pouch等。

　　在阿裡展區不斷有知名高校學者前來交流，清華大學陳渝和陸遊遊老師與阿裡工程師交流時表示：“我們更多的是看到阿裡在商業上取得的成績，沒想到阿裡在衆多工程技術領域也取得了好成績，這些創新工作在工程實踐上很有價值”。

　　一直以來，阿裡巴巴都注重與學術界的合作，不僅推出首個全球性科研項目“AIR計劃”，更與全球知名高校和科研機構成立研究中心，包括中國科學院-阿裡巴巴量子計算實驗室、UC Berkeley RISE 實驗室、阿裡巴巴-浙江大學前沿技術聯合研究中心，以及與浙江省政府、浙江大學共建的之江實驗室，強烈地向外界傳遞出阿裡巴巴搭建“取自全球、用至全球”的全球化技術創新生态體系理念。

<a target="_blank">---阿裡大資料博文，問答，社群，實踐，有朋自遠方來，不亦說乎……</a>