雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
【導讀】人類需要充足的睡眠才能有最好的狀态，而最新研究發現，人工神經網絡也可能受益于長時間的休息。模拟神經網絡中類似睡眠周期的狀态，可以消除人工模拟大腦中不間斷的自學習帶來的不穩定性。
衆所周知，充足的睡眠可以帶來元氣滿滿的一天，提高工作效率，無論是動物還是人類，都可以得到充足睡眠帶來的好處。
而近日洛斯阿拉莫斯國家實驗室 (Los Alamos National Laboratory) 的一項研究表明，人工計算大腦也可以從睡眠中受益，這種好處與睡眠給人類所帶來的好處類似。
人工計算大腦的靈感來自于人類大腦的神經連接配接。想象一下，一個由互相連接配接的節點組成的龐大分層網絡，他們互相通信。一連串的資訊波，通過一系列電子發射穿過結構。網絡中的每個節點或 “神經元” 都有自己的資料和信号供應，以便将資料傳輸到下一層節點。
随着時間的推移，神經網絡調整這些神經元之間獨特的互相作用，以提高其解決問題的能力。神經組合的路線圖會慢慢地微調，直到系統為給定的任務開發出最佳政策。
人造大腦需要睡眠
在這項研究中，洛斯阿拉莫斯國家實驗室的研究人員重點研究了脈沖神經網絡，它的功能不同于标準的人工神經網絡。這些計算系統更接近于人腦的神經回路，神經元在接收到大量輸入信号後産生一個信号。科學家們仍在學習如何訓練脈沖神經網絡，因為這些系統需要與典型的人工神經網絡完全不同的方法。
洛斯阿拉莫斯國家實驗室的計算機科學家 Yijing Watkins 說道:“我們研究的是脈沖神經網絡，該系統能像人類大腦一樣學習。而且我們對神經形态處理器的一種訓練方法有極大感興趣，該方法可以通過模仿人類以及其他生物在童年期從環境中學習的方式來進行訓練。
Watkins 和她的研究小組發現，連續一段時間的無監督學習後，神經網絡模拟變得不穩定。當他們将神經網絡暴露在類似于人類大腦在睡眠時所經曆的波動狀态時，穩定性就恢複了。Watkins 說:“這就好像我們讓人工神經網絡好好睡了一晚一樣。”
這一發現是研究小組在開發神經網絡時發現的，該神經網絡與人類和其他生物系統學習的方式非常接近。一開始，研究小組在進行無監督字典訓練時，很難穩定模拟神經網絡，這涉及到對對象進行分類，而沒有先前的例子來比較它們。
“一般很少會碰到這種讓學習系統更穩定的問題，隻有在嘗試使用仿生的脈沖神經形态的處理器，或者試圖了解生物學本身時，才會碰到這種問題。” 洛斯阿拉莫斯的計算機科學家和研究合著者 Garrett Kenyon 說，“絕大多數機器學習、深度學習和人工智能研究人員從來沒有遇到過這個問題，因為在他們研究的人工系統中，他們可以執行全局數學運算，進而調節系統的整體動态增益。”
研究人員認為，将神經網絡暴露在模拟睡眠狀态下的決定，幾乎是穩定網絡的最後一搏。他們對各種類型的噪音進行了實驗，這些噪音大緻相當于調諧收音機時可能遇到的電台間的靜态電音。當他們使用所謂的高斯噪聲波時，得到了最好的結果。
研究小組的下一個目标是在英特爾的 Loihi 神經形态晶片上實作他們的算法。他們希望讓 Loihi 時不時地進入睡覺狀态，使其能夠穩定地實時處理來自矽視網膜攝像頭的資訊。如果這些發現證明了人造大腦需要睡眠，我們或許可以期待未來機器人和其他智能機器也會有同樣的情況。
Watkins 團隊在 6 月 14 日的 CVPR 大會上對該項研究做了詳細介紹，文章一經發表，也在 Reddit 網站上引起熱議。
Reddit 熱議：人造大腦真的是在睡覺嗎？
有網友指出，稱人造大腦的穩定狀态類比于睡眠狀态有待商榷，因為如果我們不了解睡眠，我們怎麼能說他們相似或不相似？唯一相似的地方，是噪聲和腦波中存在的波形，該波形随處可見，并非睡眠獨有。
而也有網友表達不同的意見，他認為如果我們把 “睡眠” 概念化為一種恢複退化的認知功能的無反應的恢複過程，那麼睡眠對于任何給定的系統都将是一個不同的過程，但最終功能是相同的，本文所描述的過程甚至可能是相符的。
除此外，有網友質疑該研究在很大程度上誇大了人造大腦與睡眠的相似之處，使得它的适用性比現在更加廣泛。
脈沖神經網絡雖然經常被譽為第三代人工神經網絡，但是這種一個相當小衆的研究領域。對于傳統的 CNN 來說，這種技術可能并不需要，因為它們在訓練過程中會不斷地進行自我規則化。
也有網友補充知識點，生物神經網絡具有固有的延遲，因為電信号在網絡中傳播需要時間，長時間訓練網絡也非常困難。
信号需要時間流過網絡，如果正在訓練，則需要進行反向傳播來加強連接配接。如果最短路徑和最長路徑之間的時間差變得太大，則将先處理一條路徑，而另一條路徑仍在傳播。然後當後來的輸入進入時，前一個輸入的潛在處理将破壞新資料，即引起“幻覺”。
這位網友指出，研究人員所做的 “重置” 很可能是發送固定頻率的脈沖，其中或許有一個作用，就是優化由于最近學習而加強的路徑，使路徑之間的時間間隔縮短到某個門檻值以下，以防止幻覺的産生。
該網友還建議将生物神經網絡與人工神經網絡完全差別對待。雖然人工神經網絡可能會受到生物學的啟發，但有大量的基本差異使得用一個來描述另一個變得困難。
參考連結：
[1]
https://www.lanl.gov/discover/news-release-archive/2020/June/0608-artificial-brains.php?source=newsroom[2]
https://www.techrepublic.com/article/turns-out-artificial-brains-need-sleep-too-but-do-they-dream/[3]
https://www.reddit.com/r/science/comments/gzxi3w/artificial_brains_may_need_sleep_too_neural/ftk3h1p/【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/live立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-06-28
本文作者：何靜
本文來自：“
學術頭條”，了解相關資訊可以關注“[ 學術頭條](
https://mp.weixin.qq.com/s/jI-gAgILecy3mlBTiatz1g）