記憶是一種珍貴的資源，是以人類已經能夠記憶重要的技能，忘記無關緊要的技能。現在機器也被設計成這樣。
深度學習正在改變我們使用和思考機器的方式。在各種任務中，目前的狀态比人類要好，從象棋到人臉識别和物體識别。
但機器學習的許多方面遠遠落後于人類的表現。特别是，能夠在重寫不再有用的資訊的同時，用最重要的知識不斷更新自己的記憶。
這是一個重要的技能。世界提供了源源不斷的資料來源，其中大部分與生存的棘手業務無關，而且大多數都無法在有限的記憶中存儲。是以，人類和其他生物已經發展出了保留重要技能的方法，同時忘記無關緊要的技能。
機器同樣不能這樣說。不管它有多重要，他們學到的任何技能都會很快被改寫。目前沒有可靠的機制可以用來優先考慮這些技能，決定要記住什麼，忘記什麼。
今天，由于拉比夫·阿隆迪（Rahaf Aljundi）和比利時魯汶大學（University of Leuven）以及Facebook AI Research的努力，這一切看起來将會改變。這些人已經表明，生物系統用來學習和遺忘的方法也可以與人工神經網絡一起工作。
關鍵是一個名為Hebbian learning的過程，它是由加拿大心理學家Donald Hebb在上世紀40年代提出的，用來解釋大腦通過突觸可塑性學習的方式。Hebbian的理論可以概括為“一起射線的細胞”。
換句話說，如果神經元之間的聯系一起發生，神經元之間的聯系就會變得更強，是以這些聯系更難破壞。這就是我們學習的方式——重複的神經元同步觸發使得它們之間的聯系變得更強和更難覆寫。
是以，Aljundi和co開發了一種方法來使人工神經網絡以相同的方式工作。他們通過測量神經網絡的輸出并監測它們對網絡連接配接變化的敏感程度來做到這一點。
這使他們了解哪些網絡參數是最重要的，是以應該保留下來。“在學習新任務時，對重要參數的改變會受到懲罰。”團隊說。他們說由此産生的網絡有“記憶感覺突觸”。
他們已經把這個想法通過了一系列測試，在這些測試中，一個神經網絡被訓練去做一件事，然後給它一些資料來訓練它去做别的事情。例如，一個訓練識别花的網絡就會顯示鳥類。然後研究人員再次展示這些花，看看這些技能有多少被儲存下來。
具有記憶體感覺突觸的神經網絡在這些測試中比其他網絡表現更好。換句話說，與沒有這種能力的網絡相比，他們保留了更多的原始技能，盡管結果有改進的空間。
然而，關鍵的一點是，團隊已經找到了一種方法，讓神經網絡使用Hebbian學習。Aljundi和co說:“我們證明了，我們的方法的局部版本是Hebb在識别神經元之間重要聯系的直接應用。”
這對機器學習的未來意義重大。如果這些科學家能夠使他們版本的Hebbian學習更好，它應該使機器在學習上更加靈活。這将使他們能夠更好地适應現實世界。