文 ｜ 《中國科學報》 記者 沈春蕾
邵鎮炜擔任杭州第四屆亞殘運會火炬手。受訪者供圖
今年26歲的邵鎮炜，體重僅有25公斤。他從小患有“進行性脊肌萎縮症”，終身與輪椅為伴，雙手幾乎隻有大拇指和食指能動。
邵鎮炜并沒有是以向命運屈服。2021年9月，他以計算機技術與科學專業第一名的成績獲得推免資格，被保送至杭州電子科技大學（以下簡稱杭電）攻讀博士研究所學生，研究方向為多模态資料處理和人工智能技術；2023年6月，他的研究成果發表于計算機視覺領域國際頂級學術會議CVPR 2023，被認為是國内多模态大模型領域最早入局者之一。
“今年年初做了一個輕量級多模态大模型的系列，相關論文還在審稿階段。”近日，邵鎮炜在接受《中國科學報》采訪時表示，“我最近在探索與多模态大模型高效計算相關的技術。如今大模型的技術疊代非常快，我得抓緊時間做出新的成果。”
“超越”谷歌旗下的多模态大模型
2022年，邵鎮炜開始研究多模态大模型。當時，大模型研究還沒有現在這麼火熱，和多模态資訊了解相關的大模型研究則更少。邵鎮炜所在課題組當時就預見了多模态大模型技術的前景，并開展了相關探索。
邵鎮炜說：“我們走的是模型輕量化路線。不僅可以降低計算成本，還能讓大模型的應用場景更加豐富。但輕量化并不是一件容易的事。因為要縮小參數量，很可能會導緻模型能力也就是智能水準的下降。”
為了解決技術上的難點，邵鎮炜經常在電腦前一坐就是10多個小時，啃論文、查資料，嘗試不同的技術方案。在常人看來簡單的敲擊鍵盤的動作，對邵鎮炜來說并不輕松。他隻有大拇指和食指相對靈活，并且每打幾十個字就要停下來休息一會兒。盡管如此，他還是堅持每天工作10個小時以上。
“當時，我覺得這個課題可能要做不下去了，但邵鎮炜說再給他一兩周時間，他想嘗試一個新方法。結果他成功了。”邵鎮炜的導師、杭電計算機學院教授餘宙說，“我們這項研究成果最終在CVPR 2023上發表，得到了全球同行的關注。”
邵鎮炜是這篇論文的第一作者，他提出的Prophet方法為GPT等大語言模型裝上了“眼睛”。
邵鎮炜解釋道：“我們的研究提出了名為Prophet的多模态大模型架構。通過在大型語言模型上遊引入一個可學習的、任務相關的視覺問答小模型，更好地激發大模型的潛力。比如可以發給系統一張杯子的圖檔，然後問系統這個圖檔裡的杯子是什麼材質、什麼品牌，系統都會作出符合常識的回答。”
當時，在基于知識的視覺問答任務的評測資料集上，邵鎮炜提出的Prophet方法的準确率超越了谷歌DeepMind旗下的大模型Flamingo，同時該方法所需的計算資源也大大減少。
如今，邵鎮炜繼續在多模态大模型研究領域深耕，希望有新的收獲。
關上一扇門，打開一扇窗
1998年，邵鎮炜出生在杭州市濱江區。
在邵鎮炜1歲時，父母發現原本可以踮腳抓東西的兒子竟然站不穩了。他們帶着孩子四處求醫，但情況并沒有好轉。邵鎮炜被确診為“進行性脊肌萎縮症”，肌肉萎縮，四肢無力，肢體一級殘疾，沒有生活自理能力。
父母沒有放棄對兒子的培養。他們相信，上天在關上一扇門的同時，必定會打開一扇窗。雖然不能像同齡孩子那樣四處跑跳，年幼的邵鎮炜堅持和同齡的孩子一起上學接受教育。他發現學習可以讓自己忘記身體的缺陷。
由于學習成績優異，邵鎮炜被保送進入杭州市長河進階中學讀高中，并在高一前的那個暑假自學了微積分的相關知識。上中學以來，邵鎮炜發現自己很喜歡實體。2017年聯考，邵鎮炜考了644分，以第一名的成績被杭電計算機專業錄取。
這裡還有一個小插曲。因聯考幾分之差，邵鎮炜與浙江大學失之交臂。但在杭電的求學過程中，他發現杭電計算機學院也許是最好的安排。學校不僅給他一間單獨的寝室，還安排在一樓，友善他媽媽陪讀，并為他安裝了能一直通到他寝室門口的斜坡。
邵鎮炜告訴《中國科學報》：“在輔導員老師的号召下，杭電的同學們自發地為我組建了一個志願者團隊。他們每學期都會提前統計好我的課表，接力協助我上下樓梯，提供力所能及的幫助。這讓我非常感動。”
一路走來，導師餘宙是邵鎮炜科研路上的重要領路人。
“大學期間，我參觀了餘老師的實驗室，并跟着餘老師連續上了3年的課。後來在申請保研的時候，餘老師還推薦我去浙江大學試試，并給了我一顆定心丸——‘如果浙江大學進不了，我們實驗室永遠歡迎你’。”邵鎮炜說，“如果去浙江大學讀研，因為科研方向不同，可能我就沒有機會接觸前沿的人工智能，也不可能投入大模型的研究。實際在我第一次見到餘老師的時候，命運就已經作出了安排。”
“我隻想努力做好自己”
大學期間，邵鎮炜連續6次獲得學校一等獎學金、兩次浙江省政府獎學金、一次國家獎學金，并在各項比賽中多次取得好成績，争取到保送的機會。2023年，邵鎮炜還擔任了杭州第四屆亞殘運會火炬手。
在杭電計算機學院，邵鎮炜是很多同學口中的“大神”。在進入杭電前，邵鎮炜就獲得了來自社會的很多關注和贊許，甚至被冠以“中國版霍金”“少年版霍金”等稱号。對此，邵鎮炜鄭重地說：“我不是中國版霍金，我隻想努力做好自己。”
接受采訪中，邵鎮炜向《中國科學報》介紹了很多跟計算機、大模型相關的知識，并耐心給記者做了相關的知識科普。他和所有計算機技術的研究人員一樣，希望可以做出更多領先的技術成果，希望這些技術成果可以幫助更多人。
2023年12月，邵鎮炜負責的“望問醫聊——基于醫療大模型的數字家庭醫生”項目，獲中國國際大學生創新大賽（2023）金獎。他從自身提出的Prophet方法出發，希望能夠利用好大模型技術，助力智慧醫療走進千家萬戶。
再過兩年，邵鎮炜将迎來博士畢業并找工作。他希望可以繼續留校做喜歡的科研，但他也坦言自己與留校的要求還有差距。他需要繼續努力，才更有能力講述一個完整的科研故事。