本文内容選自清華大學電子工程系王生進教授于清華人工智能論壇上所做的題為《腦電識别與腦機互動》的演講。他認為人類正處于人工智能的啟蒙階段，腦機互動，是人機互動的重要方向。探索人腦，發現感覺認知機理，解明推理決策過程，實作自我意識，這是人工智能未來研究的重要方面。
演講全文如下：
各位來賓、各位專家，大家下午好。很高興主辦方能給我們提供這樣一個機會，讓我們一同開啟探讨人工智能未來發展之路。剛才張院士的報告非常精彩，張院士把人工智能的過去、現在和未來做了一個全面的概述，高屋建瓴。下面我講的是一個人工智能應用的具體技術——腦電識别和腦機互動。
我來自清華電子系智能圖文資訊處理研究室，我們研究室的主任是丁曉青教授。我們研究室在過去近20年的時間中一直從事人工智能領域計算機視覺和模式識别方面的研究，并取得了一些成果。比如說我們的th-ocr，就是剛才薛校長提到的一個文字識别的技術，已授權于微軟，并在微軟office2003裡得到使用。我們人臉識别現在的技術水準，在lfw庫上實作超過99%的識别準确率，不僅在一些國際競賽當中也取得了不錯的成績，也在實際當中得到了應用。我們的人臉識别技術應用在深圳口岸的自助通關。以往海關通關都是要經過人來看證件，然後比對通關的人。因為深圳羅湖口岸是香港通關口岸，人非常多，在比對準确率和勞動強度上有很大的負擔。希望能夠通過機器代替人工去确認通關的人。目前的通關系統裡采用了指紋和人臉識别，人臉識别采用清華大學我們的技術，指紋采用中科院的技術。另外我們建構的時空資訊行人再識别資料庫，下載下傳量高達3700次，相關的成果也将發表在今年6月份的pami上。
剛才張院士在人工智能方面介紹了非常多非常好的内容。人工智能是一門研究模拟人腦智能，實作機器智能的一門科學，它是讓機器既能代替人類做繁重繁瑣的蠻力計算（工作），又能使得機器獨立思考，甚至在某些功能上能夠超越人類。通過信号識别（圖像、語音、腦電波等）、邏輯判斷、自然語言處理，感覺和回報，展現人工智能的含義。我們人類正處于人工智能的啟蒙階段，探索人腦，發現感覺認知機理，解明推理決策過程，實作自我意識，也是我們人工智能未來研究的重要方面。
今天我要講的是關于腦電識别和腦機互動。關于腦機互動的問題也有很多的研究報道，腦機互動是人機互動的重要方向。在科幻方面有着相關的前瞻性預言。我們發現之前科幻電影裡面出現的一些場景，到現在都變成了現實。比如科幻電影《我的個神啊》，在這個影片中，外星球不再是通過語言進行交流，而是直接通過腦波互動讀取思維。而現實中心智模型建構讓腦波互動成為可能，在人工智能領域将得到更深層次的應用，心智模型植入機器系統，将成為人工智能的一個基礎載體。搭載了心智模型的機器人，将使人類和機器人之間的互動更趨智能化和人性化。人機互動因人類需求更新而發展。
下面介紹一下關于腦電識别和腦機互動的相關情況。從世界範圍内來說，關于人腦和類腦的研究已經引起了高度重視，《科學》雜志2013年的時提出了6個值得關注的科學領域，人腦連接配接組計劃就是其中之一。這個計劃主要目的是通過使用不同的人腦分析技術，來研究活體人腦功能。另外歐盟也已啟動人腦工程項目，歐盟在2013年的時候宣布“未來和新興技術旗艦項目”，，石墨烯和人腦工程兩個項目都成功入選。人腦工程，是希望能夠用計算機模拟的方法來研究人類大腦是如何工作的，這個研究有望促進人工智能、機器人和神經形态計算系統的發展。
奧巴馬政府宣布了一項緻力于對人腦進行繪圖的研究計劃。nih（美國國家衛生研究院）希望這個項目能夠讓研究人員探索腦細胞間的協作方式，對于治愈老年癡呆症等一些其他的疾病能夠提供幫助。darpa（國防部先進研究項目局）希望能夠開發出記錄和分析腦功能的方法，未來能夠對遭遇腦損傷及創傷後壓力的軍人提供治療。nsf（美國國家科學基金會）則希望了解神經網絡的運作模式，并借此開發出能夠處理海量資訊的資料處理模型，就是模拟人腦。剛才張院士也提到，利用人腦處理資料非常快，它希望能夠解決這樣一個工作機理。二十一世紀是腦科學與人工智能相結合的世紀。現在各國政府都已經在這方面投入了很大的人力和财力來從事這方面的研究，都将其列為未來研究的重大課題。
從目前的研究情況來看。腦功能的研究手段可分為三大類：一，侵入式，就是把電極植入到腦内，來形成皮質腦電圖（ecog)）。第二，非侵入式，這鐘侵入式需要很龐大的裝置，比如說meg（腦磁信号）裝置，這個裝置體量是非常大的。還有一種非侵入式，就是利用腦電信号（eeg），eeg信号的特點是裝置非常小，可以做成一個便攜式裝置，甚至非常便宜，實用性很好。它應該是未來腦機互動的一個應用的趨勢，它的工作原理主要是視覺驅動電勢，我們通常叫vep和erp。
從研究的目的劃分也有三大類，第一就是疾病的診斷和診治，第二是感覺認知，也即人工智能的研究，第三是腦機互動的研究，就是人不用通過手，也不用通過語言，隻要通過大腦的想象來和機器進行互動。這種需求是存在的，比如說癱瘓的病人或者是手腳及語言有障礙的人，或者是老年人等。隻能靠想象，包括靠思維能夠驅動機器的情況，這個是非常難的，不僅在這個地方，我們可以看到美軍在戰場上也在研究利用腦電去做目标的探測，以提高目标探測的準确性。
腦電信号（eeg）直接反映人腦活動和認知特性，可以做情緒的監測、疾病的檢測、腦機的互動。在應用領域和前景上是非常廣闊的，比如說在人工智能領域，它可以探索人腦活動和認知規律，在腦機互動上也可以幫助殘障人士來控制輪椅等裝置，目标檢測上可以借助腦電信号提高目标檢測的性能。在情緒監測上可以感覺工作狀态、壓力和焦慮等等。另外就是在一些eeg研究上，利用eeg和對視覺的刺激上，可以研究人對視覺感覺的特點，來啟發視覺研究等等。應用的前景廣闊。但也存在很多問題，主要有以下幾點：
1、腦電信号的識别性能非常低。因為我們知道腦電信号信噪比是非常低的，是以準确率很難達到像剛才張院士提到的人臉或者貓臉識别的準确率。是以它的準确率和它的計算複雜度都難以滿足實際應用的需求。比如說需要15個循環識别才能達到97%的準确率。
2、針對腦電信号多通道、強噪聲特點的有效降噪方法和分類理論尚不完善。
3、從理論上解決通道鑒别性分析的現有分類模型和相關通道選擇問題的思路尚不十分有效。
4、現有腦機接口系統模式單一（範式還比較單一）。
科學問題和亟需要突破的技術。針對我前面提到的問題，我們提出三項需要解決的科學問題：
1、在研究當中需要發現新的視覺驅動與腦電信号的相關性。即低信噪比腦電信号下的高準确識别理論。
2、尋找和探索更有效的基于思維的腦機互動範式。
3、采用腦電的信号處理和腦機互動的方式探索基于人的視覺感覺機理的計算機型
對于這三個科學問題需要解決的三個關鍵技術如下：
1、低信噪比腦電信号高準确率識别方法。
2、面向多種範式的思維腦控技術。重點研究就是vep，現在一個比較有效的就是ssvep，這是清華生醫提出來的。還有運動想象腦控技術和方法，以及更多的範式的研究，希望能夠發現。
3、基于腦電信号的有效視覺特性分析。給你看什麼東西，人類會有什麼樣的反應，這個反應通過腦電的識别，希望能夠發現這種反應，把這種特點找到，把這種規律找到，用于我們的人工智能研究。
腦電信号分析研究對本領域未來的主要有以下幾個方面：1、結合信号處理、機器學習、統計學習理論，實行強幹擾、極低信噪比下的高準确度腦電信号識别理論。2、利用vep、erp範式，探索和掌握通用環境下穩定的基于思維腦電的腦機接口方法。3、通過探索人腦視覺感覺的工作機理，改進視覺認知計算模型，啟發人工智能與計算機視覺研究和發展。
目前的一些研究的情況。這個方面國外發展較快，美國在這方面處于領先地位。剛才我提到利用腦電信号做目标探測以提高目标探測的性能。這個就是darpa開發的ct2ws系統，利用腦電波識别和認知的範圍來進行戰場目标檢測，主要是通過腦電波的圖像篩選來把戰場的虛警目标信号能夠快速地篩選掉。因為我們知道目前的模式識别，做圖像的目标探測其實是虛警率非常高的，特别是在戰場環境非常惡劣，目标并不明顯的情況下，任何一個算法，人工智能的算法或者是模式識别算法，拿到戰場，虛景都是非常高的，虛景高了以後，不可能每個虛景目标都打一個炮彈，這個時候利用腦電的識别，這個腦電的識别其實用的就是p300範式，可以用非常快的速度把虛景信号讓人去看，人在無意識當中就能産生一種腦電波，這種腦電波對于真正目标信号和非目标信号能夠産生一種有差别的信号模式。
腦電識别可以通過這樣一種腦電波的差别來把這些虛景裡面的真正目标提取出來，把這些真正的虛景剔掉，這樣就提高了目辨別别的準确率。給人看的速度是非常快的，在幾十毫秒，這時的腦電是人的一種本能的反應。主要目的是提高戰場上戰士的目标探測準确率，這就是人機結合的方式。這個例子，是明尼蘇達大學研究，利用腦電波掃描系統，網上也有相應的視訊，有機會大家可以去網站上看一下這個視訊，控制得還是相當不錯的。
哈佛大學實作了利用腦電波控制老鼠的運動。實驗人員在老鼠上做的實驗，是希望通過這樣一種方式使他們的病人恢複運動的機能，使截肢的人能夠更好控制假肢，也是帶着這樣一個傳感器，但是這個傳感器是非常小型化的傳感器，是以非常實用。另外還有一個就是美國科羅拉多州的一個人（easton lachappelle）開發了腦電波控制的機械手臂（anthromod）。它的目的也是幫助殘障人士士能夠完成最基本的動作，這個人不僅獲得了國際科學工程大賽的二等獎，更是收到了nasa的offer，以及美國奧巴馬總統的接見。這是國外的情況。我們國内也有很多這樣成果。
我們這個組在腦電信号識别和腦機互動方面做的成果和國外有所差别。我們聚焦的傳感器不是像剛才戴的這種電極帽的形式，電極帽的形式在科學研究裡面适用，電極帽的通道非常多（64導或者128導），但是我們考慮到今後能夠真正用到普通的生活當中，電極帽的方式不是很友善，我們希望能夠有一個非常簡便的儀器，我們聚焦的是幹電極式腦電信号以及腦機互動的研究。我們建立這樣一個研究室，也收集了很多的腦電信号。首先在這個領域，第一個要解決的問題就是低信噪比問題，因為腦電信号信噪非常差，怎麼樣通過降噪、預處理等等，能夠把噪聲抑制掉，能夠把真正的腦電信号提取出來，是關鍵課題。這樣我們才能進行後面的腦電識别。我們所做的第一個工作就是降噪、信号處理。
第二個要做的工作，我們戴的電極帽也好，還是幹電極也好，通道是很多的，比如現在14個通道，電極帽最少是64通道或者128通道，在這些通道裡面，哪些通道是有效的？哪些通道是無效的，甚至哪些通道是其反作用的，我們必須把它了解清楚。我們做了一些通道選擇方法的研究，在通道裡面找出最有效的通道，在什麼樣的範式下，哪些通道最有效，我們在這方面做了一些研究工作，我們就利用這樣的一個識别的方法去做腦機的互動。第一個做的是利用p300的範式去做腦機互動的打字。p300的範式就是偶然發生的這樣一個視覺事件，在300毫秒以後能夠産生一個特殊的腦電信号這樣一個範式。利用這樣一種範式就可以做一些工作，p300打字就是這樣一個研究，比如說它可以顯示這麼多的字母。當你看到你要打的字母亮起來的時候，你的腦電在你看到這個字母的時候，這個腦電信号是有差别的。通過這樣一個方式最後打出這樣的字。我們可以通過腦電控制一些運動。比如說我們做運動想象，就是通過腦電的方式控制螢幕上的滑鼠，這是通過運動想象去控制。我們做了一個腦控機器人系統，我們希望通過腦電的識别和腦機互動的方式，能夠去讓機器人知道，比如說我的殘障人士想要去做什麼，讓機器人去拿一個東西，我首先要讓機器人知道我想要去拿什麼，然後驅動機器人走到這個物體前面，我再讓機器人認識它要拿的東西，然後再把它拿回來，這個系統正在開發。可以看一下中間的過程。
這完全是通過腦電來控制機器人。這是現場腦電信号，我們從裡面去分析腦電信号的作用。訓練過程我們要讓腦電系統能夠知道我要選擇哪個東西，這個是通過視覺，同樣，這個用的還是p300的模式，就是你選這個物體，當它亮起的時候，你的腦電信号和暗下去時的腦電信号是不一樣的，當它亮起的時候，我們這個時候可以識别出它的信号，這個時候我們知道你選的是這樣一個杯子，由于信号非常低，至少要進行15次的循環才能達到97%的準确率。測試的時候也是同樣的方式，輪回地閃爍，當你要選擇的物體亮起的時候，腦電信号仍然是有差別的，我們通過分類器可以把信号差別出來。這個是驅動機器人的行走，機器人行走有這麼多個方向，中間的符号是讓機器人去取這個東西。經過這樣的訓練就可以驅動這個機器人運動。
這個工作就是腦電信号來告訴他要取什麼。走了幾步以後還沒有到的話就要繼續走。剛才我們講因為要循環很多次，是以時間比較長。走到這個地方以後再去選擇拐彎的信号，通過腦電識别，然後它就可以轉身，然後走向要取的物體方向，走路的過程就是腦電在驅動。走到這個地方以後，應該擺出東西，通過剛才介紹的圖像識别的方式去認出那個東西，但是後面我們還沒有做到那一步，是以隻能這一步先到這兒。
腦電信号分析是腦機接口的基礎和關鍵，它可以提供一種直接的人機互動方式，這一方式是依靠人的腦波信号，把它識别翻譯成對機器的指令，腦電識别和腦機互動将會對人機互動方式産生革命性的影響。腦電信号分析是人工智能研究的一個重要部分，通過腦電識别，我們可以探索人腦，發現感覺認知機理，解明邏輯推理過程，提供有效的人工智能研究手段和技術途徑，二十一世紀是腦電識别和腦機互動的世紀。這是我們團隊部分腦電方面的研究成員照片。
原文釋出時間為：2016-07-05
本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号