天天看點

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

圖檔來源@視覺中國

文丨學術頭條,作者丨奇仔,編審丨李雪薇

你體驗過盲人的世界嘛?是一片漆黑還是充滿了馬賽克?

我們每天所見都習以為常:白天灰色的混凝土森林,夜裡五彩斑斓的霓虹,如果我們失去了這些習以為常,生活又會發生什麼改變?

騰訊天美團隊曾經就開發過這樣一款還原盲人眼中世界的遊戲——《見》,除了必要的操作輪盤和象征觸感的白色輪廓,《見》幾乎全部都是由黑色組成,玩家需要扮演一名盲人,用盲杖和摸索的方式感受物體輪廓,尋找出行的道路,體驗盲人一天的生活。

盡管開發團隊還是适當調整了通關難度,但在視野近乎為盲人世界的遊戲中,依舊無法容易地完成遊戲任務。

然而事實上,盲人的生活要比遊戲中的體驗更加艱難。我們很難做到對他們的不易完全感同身受,但是盡可能地為他們提供幫助勢在必行。

近日,為了幫助視覺障礙人群更好地生活,一群高中生就打造了這樣一款針對視障人群的 iPhone 應用程式—Athiea。

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

圖 | 團隊成員(來源:atheia.org)

Athiea 可以觀察使用者的環境,提高使用者的空間和安全意識。它的面部識别功能可以識别家人和朋友,内置文本閱讀器,可以掃描單詞并大聲朗讀。而掃描功能可識别、計數和精确定位使用者視野中的物體。

它還可以跟蹤自己的觀察結果。使用者可以詢問所需物品的位置,Atheia 會用其所處位置、上次被識别的時間以及附近的物體來回應使用者的提問。

此外,它的搜尋功能還可以通過給與使用者觸覺回報和音頻指令引導使用者找到環境中的物體。

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由
00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

圖 | 操作過程(來源:IEEE Spectrum)

啟發:計算機視覺

“我們注意到,計算機視覺領域已經達到可以非常準确地檢測物體,并像人類一樣描述場景的地步,”Choi 說。“受到該技術的啟發,我們改善了技術的可及性,使得其更好地應用到為視障人群提供視覺輔助這一現實場景中。”

Atheia 可以回答許多真實世界中的問題,例如物體的形狀和大小或一天中的時間。

當感到自己處于危險的環境中時,使用者可以通過語音指令或按下按鈕來激活應用程式的哨兵模式。Atheia 将開始錄制視訊,向緊急聯系人發送實時更新,并向聯系人提供使用者的位置。

這群年輕人于 2019 年開始着手該項目的研究。在獲得工作原型之前,他們嘗試了許多不同的産品形式。

該應用程式現在正由馬裡蘭州盲人工業與服務公司的志願者進行測試,這是一家位于巴爾的摩的非營利組織,為該州的視障人士提供教育訓練和職業資源。

為這群優秀的年輕人進行指導工作的是 IEEE 成員 Pamela Ahn,她是學校電子研究實驗室的主任,也是 IEEE Richmond (Va.) Section Women in Engineering affinity group 的創始人兼總裁。

“這四個孩子想為世界帶來改變,”Ahn 說。“他們想幫助别人,這是從一個非常無私的立場出發的。他們很聰明、很勤奮、很專注。”

技術的建構

這款 APP 以資訊處理管道、搜尋和避障算法,旨在達到低延遲和高精度執行使用者請求的目的。該應用程式使用最新的計算機視覺模型和機器學習技術來提高其對對象進行分類的準确性。

它還包括一個領先的對象檢測模型,一個用于視覺和語言研究的多模态架構,一個視覺問答程式和一個文本識别算法。

資料在移動裝置上本地處理,而不是通過雲服務進行處理,是以無論是否有蜂窩信号,都可以滿足使用者請求。

“通過測試,我們意識到無論使用者身在何處,服務才是最重要的,”Ravella 說。"将我們龐大而沉重的計算機視覺模型轉換為可以在 iPhone 上運作是一個巨大的挑戰。但是,多虧了iPhone的神經引擎,讓這一切有了實作的可能。"

Ravella 說,該應用程式目前僅在 iOS 上可用,因為 iPhone 是測試該裝置的人中最受歡迎的,并且該軟體具有更多的輔助功能。他說,它還允許同學們将硬體開發轉移到蘋果身上,更多地關注軟體,因為蘋果擁有出色的 iPhone 相機、深度技術、處理能力和電池壽命。

市場上的盲人輔助裝置可能高達 6000 美元,但 Atheia 使用者每月隻需花費約10美元的訂閱費即可。

重視使用者回報

同學們第一次嘗試使用輔助裝置時戴着帶攝像頭的手套,但這次實驗并沒有成功,因為它是在沒有潛在使用者輸入的情況下設計的。

“我們陷入了一個許多人都會遇到的陷阱,”Choi 說,“我們首先建立了一個解決方案,然後找到了比對的确切問題,但這些問題并不是你用這些裝置應該去解決的問題”。由于 疫情的限制,他們無法進行面對面的采訪,于是孩子們在 Facebook 上發帖尋找有視力障礙的志願者,向他們咨詢視障人群的首要需求。

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

圖 | Nafi(左)和Choi(右)正在将顯示 Atheia 應用程式的 3D 列印原型手镯的部件粘合在一起。這是該團隊測試但被否定的六個原型之一(來源:IEEE Spectrum)

“他們願意給我們回報,還激勵我們不斷創新,對我們的研究十分期待,”Ravella 說。

根據這些回報,團隊放棄了手套,開始開發腕戴式和頭戴式裝置,并最終開發移動應用程式。他們確定獲得有關他們六個原型中每個原型的輸入。

為了了解要使用哪些技術,Ahn 幫助學生從包括 IEEE Spectrum 在内的各種 IEEE出 版物中擷取研究文章。

在花費數百美元購買零件并支付軟體費用後,孩子們找到了合作夥伴來幫助支付開發成本。他們的合作夥伴包括 Amazon Web Services,Maximus 基金會,麻省理工學院的輔助技術部門和 Ultralytics。

年輕的研發者們對于未來的暢想

提到未來的職業暢想,四位同學不約而同地表示,他們都打算從事 STEM 職業。

Ravella 說,他想研究機器學習在網絡安全中的應用。在 MITRE 和哥倫比亞大學實習期間,他了解到黑客闖入物聯網裝置過于容易,讓人十分擔憂。

Nafi 想參與計算機視覺研究,其中融合了"實體學的混合體"。他曾在達特茅斯學院從事數字病理學研究。

Choi 依舊想從事計算機視覺方面的職業。他非常喜歡 Atheia 項目,以及他在喬治梅森大學(George Mason University)實習期間使用計算機視覺開發的另一個項目。

Khondaker 表示他想在人工智能領域繼續深耕。他說,他喜歡開發 Atheia 以客戶為中心的方面,因為“你正在結識你正在為之設計項目的人”。

目前這款 APP 已經擁有了自己的首頁,裡面詳盡地介紹了該項目的推進過程及應用技術。

00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由
00後之光:4名高中生開發的這款App,讓視障人群重獲出行自由

隻有當你真正地陷入黑暗,感覺自己與社會脫軌,才會了解盲人朋友們的孤獨感。

目前市面上a擁有視障功能的 APP 依舊存在很多問題,城市盲道規劃也不被重視。而這款 APP 的出現,無疑為視障人群帶來了福音。即使它看起來還略顯稚嫩,但它依然是一款充滿了社會責任感的好産品。

相信未來,這四位少年學有所成後,會将這款視障人群“好幫手”帶向需要他們的人手裡,幫助千千萬萬的視覺障礙人士更好地生活。

參考連結:

https://spectrum.ieee.org/iphone-app-for-visually-impaired

https://www.atheia.org/

繼續閱讀