一、頂會概覽
VLDB 2021上，阿裡雲計算平台MaxCompute參與的論文入選，核心分布式排程執行引擎Fangorn、基于TVR Cost模型的通用增量計算優化器架構Tempura等分别被Industry Track、Research Track錄取。
作為資料管理與資料庫領域三大頂級學術會議之一，VLDB每年都吸引了各大高校、科研機構與科技公司的論文投稿，許多重要技術成果都在VLDB上中選釋出。
多篇研究成果的釋出離不開25位計算平台布道師和達摩院布道師花費大量時間撰寫和修改，布道師們通過撰寫論文和參加學術會議，借助布道的力量，傳播阿裡雲技術優勢，為推動開放共赢的雲計算生态作出積極貢獻。
二、首次提出多種執行模式和排程政策混合的動态設計
Fangorn在業界首次提出通過混合執行模式來管理分布式作業的設計，允許執行架構自動探索性能與資源利用間的最佳平衡。 其采用的元件間輕耦合的分層架構，能根據實時資料統計資訊，對分布式作業進行多層次的動态調整，為MaxCompute以及PAI平台上的多種計算作業提供自适應的最優執行計劃。
”如何在超大規模叢集和系統中，同時管理多種計算負載的問題，是目前業界資料公司的重點研究方向“，Fangorn在這些方向上的創新，以及在MaxCompute等多個生産平台上的全面落地，為分布式系統的多層次優化打開了大門。
Fangorn執行架構整體架構
三、首個基于TVR Cost模型的通用增量計算優化器架構
Tempura提出了一種介于傳統流處理和批處理之間的全新增量計算模式，結合批處理的高資源使用率和流處理低延遲的優勢，提供了在計算資源消耗、執行時間排程、查詢延遲、資料處理粒度等方面的靈活權衡。提出了世界上首個基于TVR Cost模型的通用增量計算優化器架構，在內建衆多現有增量計算方法的同時，使用者可以随時增添任意自定義增量計算方法。
世界上首個落地生産的漸進式優化項目，在MaxCompute漸進式智能資料倉庫業務中廣泛使用，相比傳統批處理，在縮短作業運作時間的同時，節省大量計算資源。
四、阿裡雲布道師、論文作者：
論文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on
Shared Clusters
陳穎達、王家忙、陸一峰、韓穎、呂志強、闵雪賓、才華、張炜、範浩川、李超、關濤、林偉、賈揚清、周靖人
論文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing
王作至、曾凱、黃柏彤、陳唯、崔曉宗、王博、劉吉、樊莉亞、渠大川、侯震宇、關濤、李晨、周靖人
五、延伸閱讀：
VLDB全稱International Conference on Very Large Date Bases，是資料庫領域的頂級學術會議，和SIGMOD、ICDE共同構成了資料管理與資料庫領域的三大頂級會議。本次2021大會共收錄了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。
論文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters（
http://vldb.org/pvldb/vol14/p2972-chen.pdf）
論文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing（
http://www.vldb.org/pvldb/vol14/p14-wang.pdf