最近IBM和伯爾尼大學的研究人員利用基于自注意力機制的深度神經網絡實作了對化學反應的分類，該項成果釋出于Nature Machine Intelligence雜志上。
化學反應的分類對化學家們有很高的價值，比如利用同類反應的相似成份推測最佳反應條件等。近年來，一些機器學習方法被用于化學反應的分類，但是都存在一定的局限。IBM和伯爾尼大學的研究人員提出使用BERT(Bidirectional Encoder Representations from Transformers)模型，該模型不同于由專家們根據經驗編寫大量規則的傳統分類方法，而是通過化學反應方程式文本便能實作化學反應分類的預測。研究者在13.2萬個化學反應上進行了測試，最高可達98.2%的分類精度，而傳統方法僅為41％。此外，該模型使用注意力機制，相較于傳統方式能更好的捕捉到對反應分類起關鍵作用的成份，該項工作有望開辟有機合成領域新的未來。
BERT模型基于“自注意力”機制，可以利用大規模的文本資料學習語言特征，研究者們首先将化學反應式轉換為SMILES格式，相當于對化學反應式進行了語言描述，圖1為兩個化學反應式及其對應的SMILES 表示：
圖1 化學反應式案例及其對應的SMILES representation
然後利用BERT模型進行語言學習，即經過若幹個Tranformer神經網絡結構，得到名為RXNFP的向量，然後基于此向量進行化學反應分類，具體過程如圖2。
圖2 BERT模型用于化學反應分類
BERT模型的注意力機制可以發現進行分類的關鍵作用成份，如圖3，格圖的縱軸對應BERT模型的不同層，橫軸對應每一個反應成份，顔色越深表示不同層對某個成份的關注度越高。
圖3 注意力權重解讀
基于BERT模型，化學反應可以表示成一個固定次元的向量，研究者将不同化學反應描繪在一張圖上，如圖4，從圖中可以觀察到不同化學反應之間的關系。