CCF-聯想藍海科研基金-下一代計算裝置和互動創新（第二批）

2024年CCF-聯想藍海科研基金-下一代計算裝置和互動創新第二批課題即将于2024年10月18日 24:00（中原標準時間）截止申報，歡迎CCF會員積極申報。

2024年度CCF-聯想藍海科研基金 “下一代計算裝置與互動創新專項” （第二批）啟動于2024年9月18日，共釋出6個科研課題，每個課題資助規模30萬/項，本文将詳細介紹每個課題：

申報流程見“閱讀原文”。意向申報者可添加聯想高校合作經理邢老師微信(18810382894)詳細了解。

1

課題1：基于裸眼3D與情感互動技術的老年認知康複訓練系統

研究背景：

近年來裸眼3D技術快速發展，在兒童自閉、青少年抑郁、老年AD等情感認知領域展示了廣闊的應用前景，裸眼3D與情感互動技術結合，能夠為老年認知障礙提供重要的康複訓練手段。然而，目前還缺乏針對性的人機互動場景設計與技術開發，缺乏互動過程中實時生理行為學信号監測與回報，認知康複訓練效果欠佳。

研究内容：

本課題研究如何利用人機互動場景設計與技術開發，在互動過程運用實時生理行為學信号監測與回報，提升老年人認知康複訓練效果。包括：

①認知康複訓練中情感識别與情感調控：研究穿戴式舒适無感生理信号監測方法，将腦電、心電、呼吸、脈搏等生理監測嵌入到裸眼3D場景開發，形成實時監測回報；研究融合生理和行為（面部表情、語音）多模态信号的情感識别方法，準确識别訓練過程中患者情感特征與情緒表達；研究特定人員（如患者家屬）頭像和語音信号高保真生成方法，搭建融合心理動力學和情緒喚醒度元素的虛拟現實認知互動場景，根據患者情感狀态回報調整認知訓練任務内容和難度，提高任務參與的主動性和依從性。

②裸眼3D認知訓練的多感官協同刺激方法：研究設計裸眼3D人機互動任務，重點是情感互動任務；研究視聽觸多感官協同刺激方法，研究多感官協同刺激下老年人認知功能改變的生理和行為學參數響應規律，探尋與認知功能改變高度相關的特異性數字生物标志物組合；研究老年人認知康複訓練過程中認知負荷評估方法，研究如何根據老年人情感狀态和認知負荷狀态自适應比對訓練任務和難度，準确評估視聽觸等情感互動方法對于認知康複的作用效果，實作訓練全過程認知負荷優化與認知訓練任務智能調控。

研究目标：

基于研究内容進行系統內建與驗證：實作生理行為多模态信号采集子產品與裸眼3D場景構造子產品的高度融合與系統內建，驗證系統穩定性和可靠性；采用多模态資料時鐘同步技術，實作毫秒級多模态資料源的實時整合與分析；研究老年人認知功能資料畫像建構技術，實作對患者的精準個體化病程跟蹤；結合适老化人機互動原則，對裸眼3D認知康複訓練系統進行人因工效學驗證；采集一定量資料驗證系統的有效性。

産出及傳遞物：

①開發基于裸眼3D與情感互動技術的老年認知康複訓練系統1套，建構老年人認知功能評測方案1項、認知康複訓練方案1項

②老年認知障礙患者采集不少于200例，認知功能評測次元不少于5個

③實作腦電、心電、呼吸、視覺、語音等生理行為學信号采集不少于5種

④包含視、聽、觸等感官刺激不少于3種，實作虛拟現實刺激任務不少于10個

⑤發表CCF-A類或JCR一區論文2篇，申請發明專利2項

2

課題2：基于使用者認知和互動的裸眼3D顯示器3D空間界面設計研究

研究背景：

裸眼3D顯示技術無需佩戴任何輔助裝置即可呈現具有深度感的立體圖像，顯著提升了使用者的視覺體驗和互動感覺。然而，目前在裸眼3D的3D空間界面設計上仍面臨諸多挑戰：

①界面和體驗的舒适性：如何通過界面設計降低使用者的認知負荷，提升操作的自然性和直覺性，并確定長時間使用的舒适性？鑒于裸眼3D顯示器的視場角（FOV）相對有限（通常在33度左右），需要研究如何在有限的FOV内設計出高效且使用者友好的3D空間界面。

②空間設計的沉浸感和新奇體驗：傳統的2D界面設計方法無法充分利用裸眼3D顯示技術的優勢。單純的2D界面或2D與3D結合的界面在視覺效果和互動方式上存在諸多限制。需要探讨如何通過界面設計營造出令人驚歎的空間感，進而提升使用者的體驗感受；并且利用先進的互動技術，如手勢識别、眼動追蹤和語音控制等，打造更加智能和便捷的互動方式。

研究内容及目标：

①使用者空間認知模型與适應性設計：研究使用者在3D空間中的認知模型，包括深度感覺和注意力焦點等方面；評估深度感覺的準确性和使用者的主觀滿意度。探索如何降低使用者在3D空間中的認知負荷，確定界面操作的自然和直覺；通過主觀問卷或生理名額測量使用者對空間界面的認知負荷，目标是NASA-TLX評分低于50，或其他同等名額。

②使用者體驗和新穎的設計分析：強調界面的互動性和沉浸感，提出創新的互動方式和使用者體驗；分析使用者在3D空間中的行為模式，為界面設計提供資料支援。研究3D界面元素的新穎設計，如光标等的呈現方式；確定在不同視角範圍内，界面的文字和圖形保持清晰度。評估界面的新穎和驚奇體驗，通過皮膚電導率增加0.05-0.5微西門子（µS）或心率增加10-20次/分鐘等名額證明驚奇體驗的存在。

産出及傳遞物：

①論文：發表聯想認可的CCF-A類會議、期刊論文1-2篇

②報告：送出“裸眼3D顯示器上界面設計的最佳實踐”、“裸眼3D空間界面設計指導原則等報告1-2篇

③專利：送出專利2項

3

課題3：基于認知負荷檢測的主動服務觸發機制研究

研究背景：

随着大模型和智能體的技術發展，智能裝置廠商将技術研發重點聚焦主動觸發人機互動體驗，例如，目前智能助手互動的趨勢是從使用者自主發起的互動向系統主動發起的方向進化，然而，主動互動涉及到互動時機和内容的選擇，不恰當的服務時機和内容反而可能成為資訊幹擾源，進而降低使用者體驗。目前通過感覺使用者情緒、認知負荷等用于個性化定義場景，以人為中心的多通道融合的主動互動觸發機制的研發對于主動互動模式由重大意義。傳統的認知負荷測評的主要方式包括使用者報告及生理信号測評。近年來，随着人工智能技術的發展，研究者開始關注結合計算機視覺、生理信号等多模态資訊的綜合認知負荷測評方式，并利用深度學習網絡等技術，提升認知負荷測評效率及準确度。在智能互動域領，受限于使用者使用習慣和舒适性要求，不适宜部署大量傳感器進行監測，是以如何在有限的模态下提升認知負荷監測的效率和準确度，是面向實際場景時面臨的關鍵技術問題。

研究内容：

為了解決智能體在提供主動服務時可能導緻的資訊幹擾問題，本研究旨在建構一個使用者認知負荷狀态的感覺與評估機制：

①在人與裝置互動過程中，利用視覺、語音、界面觸控操作上報等資料采集裝置，研究實時的多模态認知負荷監測資料建構技術及負荷評估算法。

②研究多通道人機協同使用者界面，基于多通道資訊呈現與使用者認知特性比對機理，建立多通道使用者界面模型和界面描述語言，并通過認知負荷度量方法與調控政策對界面内容進行組态，實作易了解人機界面資訊的自适應配置設定。

研究目标：

針對智能體互動的典型場景，聚焦智能主動互動服務任務，在人機協同任務過程中對使用者的認知負荷進行資訊模組化與處理。實作認知負荷秒級實時測評，與基準資料對比準确率不低于80%。建構多通道智能人機協同互動架構原型，驗證可用互動通道數量不少于5種，包括但不限于視覺、語音、文本、手勢、實體按鍵。建立多通道使用者界面模型和界面描述語言，在典型場景下，被試人員體驗評價優秀占比不低于75%。整體達成業界領先的主動互動觸發範式。

産出及傳遞物：

①算法原型：完成多通道負荷測評算法研發，傳遞智能人機協同互動原型系統及源代

②論文：發表具身智能/人工智能領域頂級期刊會議高品質學術論文1篇

③報告：完成多通道認知負荷測評方向報告1篇

④專利：送出發明專利2項

4

課題4：通過目标人唇動資訊輔助進行實時語音降噪

研究背景：

随着這些年遠端辦公的普及，網絡通話的使用頻率也越來越高，而語音降噪是改善網絡通話品質中最重要的一環。随着近些年AI技術的加持，越來越多的語音降噪方案通過AI模型的方式在性能上得到了極大的提升。但對人聲噪音的降噪一直是個業界的難點。

研究内容：

在消除人聲噪音方面，現有方案有通過聲紋技術和講話人唇動捕捉方案，即通過攝像頭捕捉目标人唇動資訊擷取目标人是否正在講話，1）講話時，進行正常的本地語音降噪處理；2）未講話時，濾除所有本地麥克風輸入信号。現有唇動捕捉方案隻通過唇動資訊判斷出目标人是否在講話的資訊，隻能比較好的處理目标人不講話時的人聲噪音場景，但不能處理目标人講話時，與目标人重疊的人聲噪音。希望能通過目标人唇動資訊擷取“唇語”資訊，即判斷出目标人唇動所産生的語音信号資訊，與麥克風收到的所有信号進行比照，這樣就能從麥克風拾取的信号中有效的分理出目标人的語音資訊，進而輔助進行語音降噪。

研究目标：

①目标人唇語轉化為語音信号的正确率大于60%，處理延遲小于120ms，整體方案的非目标人聲噪音降噪效果大于30dB（在目标與非目标人聲SNR=0情況下）；

②模型基于OpenVINO，适配Intel 平台，與MSFT APO架構整合，适配與常用騰訊會議，Teams，Zoom等VoIP 應用。唇語識别正确率大于60%，處理延遲小于120ms，整體非目标人聲噪音降噪效果大于30dB（在目标與非目标人聲SNR=0情況下）。

産出及傳遞物：

①算法原型：完成唇動資訊輔助進行實時語音降噪算法設計，傳遞一套唇動資訊輔助進行實時語音降噪系統及其源代碼

②論文 ：發表聯想認可的CCF-A類會議、期刊論文1-2篇

③報告：完成唇語識别方向、語音降噪方向報告2篇

④專利：送出專利2項

5

課題5：機器人的智能跟随運動控制算法

研究背景：`

随着AI技術的發展，機器人與人的情感陪伴和沉浸式認知教育方面應用前景非常廣泛。結合人臉識别和人形跟蹤技術，以及精确的運動控制，讓人和機器人的互動更顯亦師亦友的夥伴。然而，針對人機互動運動控制的特殊場景，缺乏必要的智能跟随運動控制功能。在家庭的複雜環境中，機器人跟随小孩的運動面臨很多複雜的挑戰：

①在跟随過程中，孩子的運動随機性大。可能會突然加速跑動，突然改變方向，機器人的視覺無法快速偵測識别；

②機器人的視覺系統預測到孩子的運動軌迹，但是無法預測孩子的運動速度。跟随時間越久，機器人就會跟不上小孩；

③孩子突然停止跑動，機器人無法突然停止運動。設定安全距離確定孩子安全。

研究内容：

本課題期待通過對這些關鍵技術的突破，實作人機之間的人性化的互動跟随功能。包括：

①camera要實作人臉識别功能，同時要根據人臉特征計算出機器人和人之間的距離和角度；

②将跟随目标點的極坐标轉換成世界坐标系的目标點；

③根據地圖上目标點進行動态路徑規劃，然後導航到目标點，運動過程中要實作自動避障功能。

建議研究方向：

①可以參考人臉識别，人形跟随識别算法模型；

②動态的路徑規劃算法，避障算法；

③跟蹤消失的目标點，能夠自動的對目标進行搜尋；

④該算法能夠基于不同場景提供适合的配置參數，比如機器人的外形輪廓尺寸、重量、房間的大小等對算法進行适配；

⑤采用機器人的硬體平台和軟體算法相結合的方案，以滿足人的快速運動，機器人的快速跟随動作；

⑥攝像頭可以根據需求選擇視角範圍廣的魚眼攝像頭。

研究目标：

①目标：最小有效跟蹤像素80*160，離機器人5米距離；最大有效跟蹤像素360*720，離機器人1米距離；camera前方0.1~5.0m；有效偵測範圍<=180°角；響應運動時1s; 勻速速度2~3 m/s; 變速速度0~4m/s；同一個空間内，5秒之内能夠搜尋到跟随目标。

②評估：運動軌迹符合人的習慣；算法能夠解決實際的人機互動的跟随特殊應用場景。

産出及傳遞物：

①算法原型：完成基于人機互動實作跟随算法，傳遞一套人機互動跟随算法的軟硬體系統及其源代碼。

②論文：發表聯想認可期刊論文1-2篇

③報告：完成基于ROS2系統相關技術實作智能跟随方向的報告2篇

④專利：送出發明專利2項