關注“心儀腦”檢視更多腦科學知識的分
關鍵詞：多模态、腦機接口、EEG-fNIRS
在之前的推文中，我們已經對實作多模态研究的方法做了介紹（詳情參照：認知神經科學中實作多模态研究的幾種方法
http://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzUxMTg2MTU5OA%3D%3D%26mid%3D2247494615%26idx%3D1%26sn%3D74dc8a76ae8a3e0ab598f0463a467d8b%26chksm%3Df96f9de6ce1814f05077695c9576cf00af856f08a7dd698da93e46c2c4cf20375c976315ac38%26scene%3D21%23wechat_redirect）。在了解了基本原理的基礎上，接下來可以向前再邁進一步——參考先行研究中如何使用該方法實作具體的研究目的。
先來複習一下模态的概念。模态一詞在不同語境下有不同含義：當以人為主體時，模态可以指代感覺通道（視覺、聽覺……）；而當以計算機為主體時，模态又可以代表資訊擷取方式。
在本篇推文中我們采取的首要切入點為資訊擷取方式。直白來說，在同一個任務過程中有兩種及以上記錄手段參與時，我們即認為這是一個多模态的資料采集過程。在認知神經科學中模态的組合方式是多樣的，可以是fMRI-EEG，EEG-fNIRS，甚至fMRI-EEG-fNIRS。而我們所關注的是EEG-fNIRS的多模态方案。
EEG-fNIRS同步案例
之是以說以資訊擷取方式為首要切入點，是因為接下來将要解讀的案例（Putze et al., 2014）還同時涉及了感覺通道意義上的多模态，可謂是雙重意義上的多模态研究。下面來看一下研究的具體設計。
研究目的：
由于不同感覺通道所占用的認知資源不同，在人機互動系統中連續給予任務時，需要對目前任務所占用的感覺通道進行判斷，進而估計已占用的認知資源，進行接下來的任務設定。本研究旨在探究基于EEG-fNIRS信号判斷任務相關的感覺通道的準确率。
所用裝置：
ISS Imagent：采樣率19.5 Hz，170個通道；690nm、830nm
Asalab ANT neuro amplifier：采樣率256Hz，12個電極
下圖為腦電電極及近紅外光極在頭皮表面的排列示意圖。其中“x”表示腦電電極，藍色實心圓點為近紅外光源，紅色空心圓圈為近紅外探測器，紅色香蕉狀立體物為近紅外光的通路。
實驗方法：
實驗共設定了四種條件：視覺刺激條件（VIS1: 觀看無聲電影）、聽覺刺激條件（AUD:聽音頻書）、視聽混合刺激條件（VIS2: 觀看有聲電影）以及無任務狀态下的控制條件（IDLE）。在此過程中采集他們的fNIRS和EEG信号。
下圖為一段時間内刺激呈現的一個示例。需要說明的是，控制條件與休息階段除了持續時間之外沒有差别，正因為如此，被試并沒有辦法分辨出現在休息階段之後的控制條件。設定此條件的目的是為了了解被試在實驗刺激之外所接受的來自周圍環境的刺激影響。
整個實驗由5個block組成，除第一個block外，每個block都包含30個trial。相鄰的兩個trial不屬于同一條件。
資料處理及結果：
對fNIRS資料抽取HbO、HbR這兩個特征
對EEG資料抽取的特征抽取band power changes、ERP waveform這兩個特征
下表中比較了5種分類器區分不同條件的準确率。紅框中标出了分類器所依據的特征，其中前四種基于所得資料的單一特征進行分類，而最後一種結合了全部四種特征進行分類。藍框中标出了分類的對象：聽覺刺激/視覺刺激、聽覺刺激/控制條件、視覺刺激/控制條件、包含聽覺刺激的條件/不含聽覺刺激的條件、包含視覺刺激的條件/不含視覺刺激的條件。
可以看到，當同時使用4個特征進行參與認知活動的感覺通道的分類時，準确率要顯著高于單獨使用任何一種特征進行分類。這證明了基于EEG-fNIRS這一多模态資料采集手段進行感覺通道分類的有效性。
由于案例解讀的着眼點在于多模态手段的應用領域及其在具體實驗設計中的嵌入方式，在此不對分類器涉及的具體算法進行深究，感興趣的讀者可以搜尋論文原文進一步鑽研。
以下内容部分摘自歐朗等（2020）
EEG-fNIRS同步優勢
基于神經元電活動的EEG是通過記錄頭皮表面下的神經元自發、有節律的運動電位用來檢測大腦活動。腦電活動與其對應的fNIRS檢測的血流動力學并沒有系統的時空對應關系，它們之間的互相作用是通過神經血管耦合機制實作的。
我們既可以使用聯合檢測技術來研究這一機制，也可以假設神經血管耦合模型通過聯合測量提供更豐富的神經生理信号。這兩項技術聯合檢測主要有以下優點：
- 這兩項技術适應面廣，從簡單的視覺刺激實驗檢測到重症監護病人的檢測，适應年齡從早産兒到老年病人覆寫全年齡段患者。
- 這兩種方法在時間分辨率和空間分辨率上可以實作互補。
- EEG和fNIRS都具有裝置相對小巧，價格相對低廉的優勢，可以整合在便攜式裝置上。
- fNIRS和EEG技術對運動僞影有很好的魯棒性而且沒有過多實體限制條件。
- 與其他技術相比，EEG和fNIRS可以在接近日常生活的條件下進行，這為實驗設計提供了相當大的自由度。
- 因為這兩種技術都是完全無聲的，在進行語言研究和聽覺認知實驗時，這是一個重要優勢。
- 由于沒有電光幹擾，它們的內建相對簡單。
EEG-fNIRS聯合檢測同步方法
EEG-fNIRS聯合采集分析系統結構框圖如下圖所示。由主要制器通過同步盒同時向腦電系統和近紅外系統同時發送同步marker，通過對腦電、近紅外信号進行放大、模數轉換後在采集電腦上進行顯示、預處理和儲存。
（歐朗等，2020）
目前EEG-fNIRS聯合檢測系統中的近紅外探頭和腦電電極大多通過固定在同一探頭帽上實作聯合檢測。EEG-fNIRS聯合檢測研究的關鍵問題之一就是聯合檢測探頭帽的設計。聯合檢測探頭帽一般是将腦電電極和近紅外探頭安裝到同一個貼合頭皮的柔性裝置上整合而成。
總的來說，EEG-fNIRS聯合檢測系統最好使用同一控制器同時控制兩種系統，通過硬體實作同步，友善系統之間聯合分析。對于聯合測量探測帽，既要保證腦電電極耦合效果，又要保證近紅外光源和探測器之間的固定。雖然兩個子產品之間的幹擾較小，但在确定腦電電極和近紅外探頭具體位置時還是要盡量避免互相影響。
EEG-fNIRS聯合檢測在腦功能分析中的應用
腦機接口
腦機接口是允許大腦與各種機器之間進行通信的系統，可以實作腦與裝置的資訊交換。簡單來說，就是實作用意念去控制機器。腦機互動是人機互動的終極手段，可以幫助殘障人士修複視覺、聽覺等感覺功能和運動功能，讓正常人的工作生活更加健康高效。通過EEG-fNIRS聯合，準确率會比單純基于fNIRS信号或腦電信号時要高。
腦功能狀态監測
腦疾病和腦創傷是目前社會醫療和保健體系面臨的最嚴重問題之一。目前腦科學界和醫學界就腦疾病的醫療問題已達成共識，就是應從早期診斷、早期幹預着手。
通過腦功能狀态監測可及時判斷腦疾病，利用腦電圖、誘發電位、BCI、近紅外等腦成像技術對大腦的功能狀态進行客觀定量測量，提取出實時的腦功能狀态名額，而通過EEG-fNIRS聯合監測，可從多角度分析大腦狀态。該項技術可應用于臨床醫療、腦健康管理、康複訓練、睡眠、教育、安全生産等領域。
情感識别
情緒是一種綜合了人的感覺、思想和行為的狀态，它包括人對外界或自身刺激的心理反應，也包括伴随這種心理反應的生理反應。在人們的日常工作和生活中，情緒的作用無處不在：
在醫療護理中，如果能夠知道患者、特别是有表達障礙的患者的情緒狀态，就可以根據患者的情緒做出不同的護理措施，提高護理品質。
在産品開發過程中，如果能夠識别出使用者使用産品過程中的情緒狀态，了解使用者體驗，就可以改善産品功能，設計出更适合使用者需求的産品。
在各種人-機互動系統裡，如果系統能識别出人的情緒狀态，人與機器的互動就會變得更加友好和自然。
是以，對情緒進行分析和識别是神經科學、心理學、認知科學、計算機科學和人工智能等領域的一項重要的交叉學科研究課題。目前大多數EEG-fNIRS聯合檢測系統的情緒識别檢測區域主要集中在前額葉腦區，研究者們發現這一區域腦電和血氧的相關性較強，且前額避免了頭發對光學信号的影響。
人因工程
人因工程是研究人在工作環境中的解剖學、生理學和心理學等方面的各種因素，研究人和機器及環境的互相作用，研究在工作中、生活中和休息時怎樣統一考慮工作效率、人的健康、安全和舒适等問題的學科。
人因工程以人為本，着眼于提高人的工作績效（Human performance），防止人的失誤（Human error），在盡可能使系統中人員安全、舒适的條件下，統一考慮人—機器—環境系統總體性能的優化。EEG-fNIRS多模态手段可用于提高對心理疲勞程度的監控精度。
結語
EEG和fNIRS技術在某種意義上是互補的：EEG提供了非常高的時間分辨率，但空間分辨率較低。fNIRS由于入射光強在組織中的指數級衰減，空間分辨率較高。通過進行EEG和fNIRS的聯合檢測，将兩種信号進行同步分析，可以克服單一腦功能成像的局限性，在認知功能的多方位探究上向前邁進一大步。
參考文獻：
1. 歐朗, 趙越, & 李曉歐. Nirs-eeg聯合檢測技術在腦功能分析中的研究進展. 中國醫學實體學雜志, 37(10), 7.
2. Putze, F., Hesslinger, S., Tse, C. Y., Huang, Y., Herff, C., Guan, C., & Schultz, T. (2014). Hybrid fNIRS-EEG based classification of auditory and visual perception processes. Frontiers in neuroscience, 8, 373.
全文完結，整理不易，看不完記得收藏，最後希望點贊支援一下！
了解更多，請關注“心儀腦”公衆号！