CNCC2024
論壇簡介:
揭秘大模型訓練的底層邏輯:網絡與計算的深度融合之戰
舉辦時間:10月26日13:30-17:30
地點:夏苑-諧奇趣三樓
注:如有變動,請以官網(https://ccf.org.cn/cncc2024)最終資訊為準
大模型技術因其前所未有的智能化表現在各行各業中的應用越來越普遍。然而,這種卓越的性能背後需要強大的計算和存儲資源支援。
盡管計算機網絡技術已有長足進步,但在大模型時代,随着模型規模的不斷擴大,導緻資料傳輸和同步的需求急劇增加,是以如何智能化地管理和優化網絡資源,降低通信開銷進而有效地支援大模型的訓練和推理,成為了學術界和工業界共同關注的課題。除此之外,大規模的資料傳輸和存儲過程中的安全漏洞可能導緻嚴重的隐私洩露風險,這對網絡架構的設計提出了新的要求。
本次研讨會将聚焦于探讨在“大模型時代”背景下,計算機網絡所面臨的挑戰與機遇。研讨會将探讨如何通過先進的網絡架構與協定設計,支援大模型的高效訓練與推理,并提高網絡的性能和資源使用率。此外,論壇還将聚焦于網絡安全和隐私保護,探讨創新的安全解決方案和隐私保護機制,以確定資料的安全性和網絡的可靠性。通過這些讨論,我們希望能夠促成學術界與工業界的深入交流,推動計算機網絡技術的持續創新,共同應對未來的挑戰。
論壇日程
順序 | 主題 | 主講嘉賓 | 機關 |
1 | 算網融合高效資料平面實作研究 | 謝高崗 | 中國科學院大學 |
2 | 多模态大模型賦能6G弱通信 | 楊鲲 | 南京大學 |
3 | 異構計算平台中混合負載的計算排程關鍵技術研究 | 杜軍朝 | 西安電子科技大學 |
4 | 面向超算與智算的高性能互連通信技術 | 董德尊 | 國防科技大學 |
5 | 端雲大模型協同計算與安全初探 | 王志波 | 浙江大學 |
思辨環節 | 翟恩南 | 阿裡 | |
劉東屏 | AWS | ||
鄢興雨 | 智譜華章 |
論壇主席及嘉賓介紹
論壇主席
張宇超
北京郵電大學長聘副教授、博士生導師、網絡與通信軟體中心主任
CCF進階會員、YOCSEF總部學術AC、網際網路專委會委員、區塊鍊專委會委員、分布式計算與系統專委委員,主要從事計算機網絡、人工智能、網絡安全方向研究工作。先後主持和參與國家重點研發計劃、國家自然科學面上項目、青年項目、北京市自然科學基金重點專項等國家級和省部級項目,相關成果以第一/通信作者發表國内外高水準論文60餘篇、獲得國家發明專利25項、美國/PCT專利6項,以第一作者完成英文專著1部、叢著3部,參與制定國家行業标準4項,2023年入選北京市科技新星人才計劃。
論壇共同主席
崔來中
深圳大學教授、計算機與軟體學院副院長
CCF傑出會員、網際網路專委會常委,大資料專家委員會委員、區塊鍊專委會委員,深圳大學計算機與軟體學院特聘教授,博士生導師,深圳大學計算機與軟體學院副院長,粵港現代資訊服務省部共建協同創新中心執行主任,人工智能與數字經濟廣東省實驗室(深圳)主任助理。研究領域包括:網際網路體系結構、邊緣計算、區塊鍊、分布式機器學習和多媒體網絡。擔任IEEE TCC、IEEE TNSM、IEEE IoTJ等期刊的副編輯。主持國家自然科學基金聯合基金重點項目、國家重點研發計劃課題、廣東省自然科學基金卓越青年團隊、深圳市優青(首屆)等科研項目。在國内外重要期刊和會議上發表論文100餘篇。入選教育部青年長江學者、廣東省青年珠江學者。
論壇講者
謝高崗
中國科學院大學教授
CCF進階會員,研究員,博士生導師,中國科學院大學崗位教授,主要從事計算機網絡體系結構與分布式計算系統的研究工作。獲得國家傑出青年科學基金、重點研發等項目資助,相關成果發表在SIGCOMM、SIGMOD、JSAC、ToN等學術會議與期刊,獲國家科技進步二等獎、電子學會技術發明一等獎等獎勵。
報告題目:算網融合高效資料平面實作研究
摘要:大模型訓練、AR/VR等業務需要網絡提供低延遲時間、高帶寬的資料包傳輸處理,建構靈活高效的資料平面至關重要。本報告分析實際應用系統網絡傳輸性能瓶頸,探讨資料包轉發算法、傳輸協定與網絡内計算等建構高效資料平面實作機制。
楊鲲
南京大學教授、智慧網絡與通信研究院院長
CCF進階會員,南京大學國家特聘教授,智慧網絡與通信研究院院長,歐洲科學院(Academia Europaea)院士MAE,國家級高層次人才入選者,IEEE Fellow。英國倫敦大學學院(UCL)電子與電氣工程系博士,吉林大學計算機科學系本碩。主要研究興趣包括:無線網絡和通信、通信-計算-感覺的融合、AI技術賦能網絡和通信等。在國際核心期刊和主要會議發表論文500多篇, 多國專利50多件。IEEE InterCloud創始成員及六個執行常委之一,世界移動大會WMC GSMA GLOMO大獎(業界著名的巴獎)的評審專家,多個IEEE 期刊編委(如WCM, TVT, TNB),IET Smart Cities 期刊副主編。
報告題目:多模态大模型賦能6G弱通信
摘要:講座聚焦生成式AI如何賦能特殊場景中信道條件差的弱通信(目前主流的是高速率大帶寬的強通信)。在簡短介紹6G系統演進之後提出目前通信網絡所面臨的挑戰,然後引入以神經網絡和機器學習為代表的新一代人工智能AI技術助力通信網絡内生智能的思路,并重點介紹語義通信以及如何使用多模态大模型來賦能弱通信,進而給出具體實施方案建議和具體實作技術示例和原型系統示範。
杜軍朝
西安電子科技大學教授
CCF傑出會員、網際網路專委會常委、嵌入式系統專委會常委,西安電子科技大學“華山學者”領軍教授、博導,國際級人才,教育部區塊鍊技術應用與測評工程研究中心常務副主任,陝西省智能人機互動與可穿戴技術重點實驗室骨幹,陝西省科技創新團隊負責人,陝西省秦創原科學家+工程師團隊首席科學家,ACM西安分會常務理事,ACM中國圖靈大會組委。以第一完成人獲:2022教育部技術發明二等獎、2021/2019陝西省高等學校科學技術特等獎/一等獎。出版國家重點圖書出版規劃教材《ZigBee技術原理與實戰》。承擔國家自然基金重點、省部級項目多項。在國際旗艦會議ACM Ubicomp、ACM Mobisys、IEEE/ACM期刊等發表論文多篇,獲得2017 ACM Ubicomp傑出論文獎(CCF A類)。
報告題目:異構計算平台中混合負載的計算排程關鍵技術研究
摘要:在異構計算平台中,面向深度學習模型訓練、推斷以及大資料處理等混合負載的多目标計算需求,計算架構與排程技術是關鍵。本報告針對異構計算平台中面臨的計算資源異構、混合負載複雜需求的挑戰,分析國内外的計算架構和排程技術,介紹團隊在異構計算資源和混合負載的畫像技術,計算能力供給與複雜負載需求的耦合性與親和性計算技術,計算排程以保障混合負載的複雜多樣服務品質等方面的研究工作。
董德尊
國防科技大學研究員
國防科技大學計算機學院研究員、博導,教育部長江學者、全國百篇優秀博士論文獎獲得者、國防卓青基金獲得者、湖南省傑青基金獲得者,主要研究方向為計算機體系結構、高性能與智能計算、并行與分布式系統,作為銀河/天河副主任設計師,長期參與國産高性能計算機系統研制工作,榮立軍隊個人二等功,獲湖南省教學成果特等獎、軍隊科技進步一等獎、中國電子學會自然科學二等獎、湖南省自然科學一等獎、湖南省計算學會科學技術一等獎等,在CCF推薦的A/B類國際刊物發表論文70餘篇,入選2017年中國科協優秀科技論文遴選計劃,獲2022年IEEE Transactions on Computers最佳論文獎亞軍,擔任《Fundamental Research》、《國防科技大學學報》、《計算機工程與科學》等期刊編委,CCF傑出會員、體系結構專委常委、分布式計算與系統專委常委、高性能計算專委執委等,多次擔任CCF系統大會/晶片大會/體系結構年會/高性能計算年會、ChinaSys、HiPEAC等本領域國内外重要學術會議的大會/程式/組織/宣傳/注冊/主席/副主席/委員等。
報告題目:面向超算與智算的高性能互連通信技術
摘要:在高性能與智能計算系統中,随着任務并行規模和計算模型複雜度的增長,互連通信成為制約系統可擴充性的關鍵因素之一。為了提升并行智能系統的可擴充性,需要從不同層次和次元進行思考和嘗試,包括在晶片内探索互連微架構的高帶寬/低延遲/低開銷設計優化,在晶片間探索拓撲/路由/流控/通信庫等的端到端/全協定棧優化,在系統級探索應用驅動的算法/計算/通信的協同優化,本報告将讨論課題組面向超算與智算的高性能互連通信技術的部分研究成果。
王志波
浙江大學教授、網絡空間安全學院副院長
CCF傑出會員、物聯網專委會常委,浙江大學教授,網絡空間安全學院副院長,國家優青。現為ACM/IEEE/電子學會進階會員、人工智能學會智能資訊網絡專委會常委、電子學會網絡空間安全專家委員會副秘書長。研究方向包括智能物聯網、人工智能安全、資料安全與隐私保護,發表CCF A類論文70餘篇,多篇論文榮獲最佳論文獎和最佳學生論文獎,入選2023年全球前2%頂尖科學家榜單。主持國家優青、聯合基金重點項目、科技創新2030-新一代人工智能重大項目課題等多項國家級項目,研究成果服務于華為、阿裡、螞蟻金服、杭州城市大腦等企業。榮獲電子學會自然科學一等獎,浙江省自然科學一等獎和IEEE 可擴充技術專委會職業中期研究成就獎等多個獎項。
報告題目:端雲大模型協同計算與安全初探
摘要:以GPT-4為代表的大模型浪潮席卷全球,成為賦能千行百業、驅動新質生産力發展的關鍵引擎。随着終端裝置的智能化不斷提升,以及使用者使用大模型時的隐私擔憂,在終端部署和應用大模型将成為未來趨勢。然而,資源受限的終端難以支撐大模型的計算需求,亟需結合雲側資源協同計算共同使能大模型訓練與推理。本報告将探讨端雲大模型協同計算所面臨的需求與挑戰,分享團隊在端雲協同計算與安全方面的積累以及在大模型上所做的嘗試。