機器之心報道
編輯：陳萍、杜偉
華為諾亞開源了一個貝葉斯優化的庫，該庫包含三個部分：河伯、T-LBO、CompBO。
貝葉斯優化可以說是一種黑盒優化算法，該算法用于求解表達式未知函數的極值問題。因其具有極強的樣本有效性，近年來被廣泛使用，研究者隻需較少地疊代次數，即可得到一個較好的結果，是以可用于機器學習模型算法調參。
近日，華為諾亞開源了一個新的關于貝葉斯優化的庫，該庫可用于低維和高維領域的貝葉斯優化，主要包含：
河伯（Heteroscedastic Evolutionary Bayesian Optimization，HEBO）：異方差演化貝葉斯優化，可用于超參數調優，華為諾亞憑借該算法赢得 NeurIPS BBO 競賽冠軍；
T-LBO：一種将深度度量學習與潛在空間貝葉斯優化相結合以實作高維優化的算法，該算法可以減少 97% 的資料需求；
CompBO：使用組合優化器進行貝葉斯優化。
項目位址：https://github.com/huawei-noah/HEBO
河伯
河伯算法是華為諾亞方舟決策與推理（DMnR）實驗室開發的貝葉斯優化庫。該算法擊敗了 NVIDIA、IBM、Jetbrain 等，以 93.519 得分赢得了 AI 國際頂會 NeurIPS 2020 的黑盒優化競賽冠軍。
HEBO 是與前 5 名競争對手之間差異最大的算法，以非常大的優勢獲勝。下面是比賽結果的截圖：
完整榜單：https://bbochallenge.com/leaderboard/
T-LBO 算法
該算法出自論文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》，全篇 42 頁，研究者來自華為諾亞方舟實驗室。
論文位址：https://arxiv.org/pdf/2106.03609.pdf
研究者提出了一種基于深度度量學習的方法，以使用變分自編碼器（VAE）在高維結構化空間中執行貝葉斯優化。通過擴充監督深度度量學習的想法，他們解決了高維 VAE 貝葉斯優化中長期存在的一個問題，即如何将判别式隐空間作為歸納偏置來執行。重要的是，研究者僅使用以往工作的 1% 的标記資料就實作了這種歸納偏置，顯示出了所提方法面向樣本的高效性。
在實驗中，研究者展示了在真實世界高維黑盒優化問題（包括屬性引導的分子生成）上的 SOTA 結果。他們希望，本文展示的結果可以作為實作高效高維貝葉斯優化的指導原則。
利用組合優化器做貝葉斯優化（CompBO）
這是一篇發表在機器學習研究雜志 JMLR 2021 上的論文，标題為《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》，全篇共 78 頁。研究者來自華為英國研發中心。
論文位址：https://www.jmlr.org/papers/volume22/20-1422/20-1422.pdf
項目位址 https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO
貝葉斯優化為全局優化提供了一種面向樣本高效的方法。在這個架構内，采集函數（acquisition function）的最大化是決定性能的關鍵因素。但是，由于采集函數往往是非凸的，是以不容易優化，導緻其最大化變得複雜。
華為的這篇論文對最大化采集函數的方法進行了全面的實證研究。此外，通過為流行的采集函數推導出全新但數學上等效的組合形式，研究者将采集函數的最大化任務重新定義為組合優化問題，進而能夠從領域大量文獻中獲益。他們特别強調了 3,958 個單獨實驗中采集函數最大化組合方法的實證優勢，這些實驗包括組合優化任務和貝葉斯任務。
鑒于采集函數最大化方法的通用性，研究者認為采用組合優化器有可能在目前貝葉斯優化應用的所有領域内實作性能提升。
蘇黎世聯邦理工DS3Lab：建構以資料為中心的機器學習系統
蘇黎世聯邦理工學院(ETH Zurich) DS3Lab實驗室由助理教授張策以及16名博士生和博士後組成，主要緻力于兩大研究方向，Ease.ML項目：研究如何設計、管理、加速以資料為中心的機器學習開發、運作和運維流程，ZipML項目：面向新的軟硬體環境設計實作高效可擴充的機器學習系統。
12月15日-12月22日，來自蘇黎世聯邦理工學院DS3Lab實驗室的11位嘉賓将帶來6期分享：建構以資料為中心的機器學習系統，詳情如下：