今天給大家介紹的是南韓科學技術院(KAIST)與穆罕默德·本·紮耶德人工智能大學(MBZUAI)研究人員聯合發表在ICML2021上的一篇文章。作者提出一種端到端的架構，用于直接訓練深度神經網絡，使預測的反應路線更符合現實中的反應要求。實驗表明，該方案顯著提高了解決逆合成問題的成功率，同時保持了網絡預測有效反應的性能。
1
介紹
發現目标産物的合成路線在許多應用中發揮着重要作用。其中，逆合成面臨的主要挑戰包含兩方面：(1)找到一個準确的單步逆合成模型來預測給定産物的單步反應；(2)設計一種有效的搜尋算法設計完整的合成路線。目前已提出的用于單步逆合成的模型可分為三類：對産物分子應用模闆以預測反應物、從頭生成每種反應物、修改産物原子數目或更改化學鍵以獲得反應物。而用于規劃完整路線的搜尋算法主要包含兩類：将其視為順序決策的過程、應用樹搜尋算法。逆合成架構的評估可以從以下兩個方面出發：（1）模型提出的反應路線是否是現實世界中的反應；（2）模型預測的路線(從分子建構塊開始合成)的成功率。目前的逆合成設計架構不是端到端的，而是朝着上述兩個目标分别優化單步逆合成模型和搜尋政策，是以模型的性能可能并未達到最佳。受此啟發，作者提出了一個新的端到端逆合成架構，該架構在訓練過程中同時考慮最大化搜尋算法的成功率以及在真實世界中存在的反應。
圖1正向合成與逆合成
2
模型
概述
（1）.單步逆合成政策 本文的單步逆合成方法是一個利用多層感覺機搭建的基于模闆的模型。該模型以摩根指紋作為輸入，訓練多層感覺機預測合适的反應模闆以應用。
（2）.搜尋算法政策 因Retro*及Retro*-0的優異表現，作者采用該搜尋政策實作多步合成路線設計。Retro*算法模仿A*算法，基于目前路徑的成本和到目标的估計成本進行最佳優先搜尋。Retro*-0是Retro*算法的變體，不依賴值函數進行擴充，而是在模型表現和一個表示值函數的額外的DNN之間進行權衡。
（3）.提升反應品質政策 為了從模仿學習的反應路徑中提升反應品質，(1)作者引入一個與上述單步逆合成政策架構相同的參考逆向反應模型，該模型在真實資料集上訓練以能判斷某個反應是否與真實存在的反應相似；(2)提出一個基于正向反應模型的反應增強政策，以增加反應的多樣性。
（4）.損失設計 作者同時優化預測反應路徑的真實性與成本，将參考逆向模型下反應的負對數似然的和作為合成路線的損失。
步驟
圖2模型架構圖
Step A.産生反應集。利用搜尋算法和單步逆合成模型先産生一系列反應路徑，然後收集上述反應路徑中的反應形成一個初始反應集。
Step B.過濾不真實的反應。利用參考逆向模型丢棄初始反應集中與實際不符的反應以得到一個真實反應集。
圖3 增強反應示例
Step C.增強反應集。基于正向反應模型替換真實反應集中反應的産物以獲得增強的反應集。
Step D.訓練逆向反應模型。模拟真實反應集和增強反應集中的反應（即最大化對數似然）以訓練逆合成模型。
圖4 算法圖
3
實驗
實驗設定
資料集 分子構件塊來自于eMolecules，産物分子和化學反應來自于USPTO資料集。該方法中資料集的處理及訓練測試驗證集的劃分與Retro*方法一緻。
評估名額 預測整條路線的損失通過路線中反應的負對數似然之和衡量，逆合成模型通過top-k比對成功率衡量。
實驗結果
單步逆合成反應模型使用TOP-1和TOP-10的精确比對度進行評估。使用SUCC.RATE，LENGTH，TIME，COST對反應路徑進行評估。N表示逆合成反應模型調用的極限。LENGTH是指路線中的反應數量。TIME是由逆合成反應模型調用的數量來衡量的，上限為500。GREEDY DFS、MCTS和DFPN-E的實驗結果來自Chen等人的文章。最好的結果用粗體字标注。括号中報告了與不使用該架構的對應方法名額的相對增益。
表1 在USPTO資料集上的模型性能對比表
表1和圖5結果表明，該架構與Retro*或Retro*-0結合顯著優于基線。另外，在設計合成路徑的成本和長度上，Retro*-0+OURS 和Retro*+OURS也有明顯的優勢。
圖5 在不同的逆合成反應模型調用限制下的成功率
下圖展現了同一目标分子分别由（a）Retro*-0+OURS和（b）Retro*-0搜尋得出的反應路徑。在這個例子中，Retro*-0規劃的反應路徑長度較短，即更易在實驗室中合成。
圖6 Retro*-0+OURS和Retro*-0示例
4
總結
在這項工作中，作者提出了一個基于自提升模型适應的逆合成規劃架構。該架構訓練一個逆反應模型用以發現成功的合成路線，另外通過正向反應模型産生新的反應使訓練多樣化。實驗表明，該架構可從構件分子中生成真實且可執行的反應。該工作縮小了有監督的單步逆合成模型與逆向合成規劃目标之間的差距。最後，作者表明利用不真實的反應樣本改進過濾子產品以及開發更好的增強政策将是未來可以關注的研究方向。