原文位址：https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_10283014411054710327%22%7D&n_type=-1&p_from=-1
原文内容如下：
邊緣智能：研究進展及挑戰
作者：喬德文，郭松濤，何 靜，朱永東
首發：《無線電通信技術》
摘 要：近年來, 物聯網的普及讓數以億計的移動裝置連接配接到網際網路上，在網絡邊緣産生了海量的資料，使得一種全新的計算範式———邊緣計算興起。同時,得益于深度學習算法和摩爾定律的突破，使得人工智能的發展再一次迎來了高潮。在這一趨勢下，将邊緣計算與人工智能相結合是必然的，由此産生的新的交叉研究———邊緣智能引起了許多學者的廣泛關注。
在該綜述中，邊緣智能被分為基于邊緣計算的人工智能和基于人工智能的邊緣計算（ 即 AI on edge 和 AI for edge）兩部分。AI on edge 側重于研究如何在邊緣計算平台上進行人工智能模型的建構，主要包括模型訓練和模型推理兩部分；AI for edge側重于借助先進的人工智能技術，為邊緣計算中的關鍵問題提供更優的解決方案，主要包括任務解除安裝和邊緣緩存兩部分。該綜述從一個廣闊的視角對邊緣智能的研究進行了歸納總結，為涉足該領域的相關學者提供了一個詳細的背景知識。
關鍵詞：物聯網；邊緣計算；深度學習；人工智能；邊緣智能
0.引言
随着5G技術的發展和物聯網（Internet of Things，IoT）的普及，網絡邊緣的資料由地理上分布廣泛的移動終端和IoT裝置所建立，這些在網絡邊緣生成的資料比大型雲資料中心生成的資料還要多。另外，根據IDC的預測，到2025年［2］，全球物聯網産生資料的70％都要在網絡邊緣處理。同時，人們在日常生活中使用這些智能終端裝置時對其服務品質的需求有了進一步的提高［3］。是以，在這種情形下，用傳統的雲集中式處理模式将無法高效率地處理這些網絡邊緣資料，也不能滿足使用者對智能終端高服務品質的需求。具體來說，傳統雲計算在處理這些網絡邊緣資料時存在三點不足：①實時性不夠；②帶寬不足；③能耗較大。是以，為了解決以上問題，更适用的方式是直接在邊緣網絡側處理使用者需求，這催生了一種全新的計算範式——邊緣計算（Edge Computing，EC）［4］。
EC将雲服務從網絡核心推向更接近物聯網裝置和資料源的網絡邊緣，它是一種在終端裝置中分析和處理資料的技術。通過這種技術，資料可以在網絡邊緣進行實時處理，以實作資料流加速的目的。從本質上講，與傳統基于雲的計算模式相比，EC使得計算和資料源之間的實體距離更加接近，大大降低了資料傳輸的時延，緩解了網絡帶寬的壓力，減少了資料通信的能耗，使得使用者的服務品質大大提升［5-7］ 。
近些年來，得益于摩爾定律的突破，使得人工智能（Artificial Intelligence，AI）的發展再一次迎來了高潮。日常生活中，熟知的 AlphaGo［8］ 、無人駕駛汽車［9］ 、智慧醫療［10］ 等， 都是AI發展的延伸。可以說，我們目前生活在一個 AI蓬勃發展的時代。另外，在算法、算力、大資料等最新進展的推動下，深度學習（Deep Learning，DL）［11］ 作為AI領域最耀眼的領域，在計算機視覺、語音識别、自然語言處理等多個領域取得了實質性突破。得益于這些突破，以智能個人助理、個性化購物推薦、智能家電等為代表的一系列智能應用迅速進入了人們的視野，得到了巨大的青睐。
現代社會普遍認為這些智能應用極大地豐富了人們的生活方式，提高了社會生産效率。由于AI算法的實作需要大量的計算，目前AI大部分的計算任務都是依靠部署在雲及其他大規模計算資源密集的平台上實作的，但考慮到大規模計算資源密集平台與智能終端的實體距離以及網絡邊緣海量資料的現實，就極大地限制了AI帶來的便利。是以，催生了人們将EC與AI進行結合的想法，這也就産生了邊緣智能（Edge Intelligence，EI）。
EI并不是将EC和AI進行簡單的結合，EI涉及到的主題十分廣泛，目前學術界還沒有給出一個統一的定義。但是，很多涉足EI的學者都給出了自己對EI的了解，例如，Zhou 等人認為EI的範圍不應該僅僅局限于邊－端上運作AI算法，而也應該包括在邊－雲上運作AI算法［12］ ；Zhang 等人将EI定義為使邊緣裝置能夠執行AI算法的能力［13］ ；李肯立等人将EI 定義為融合網絡、計算、存儲、應用核心能力的開放平台［14］。
處于初級階段的EI吸引了學者的廣泛關注。他們對EI的進展做了較為全面的研究總結，例如，Zhou 等人從 AI模型的訓練、推理以及邊－雲和端－ 邊－雲協作等方面對 EI進行了較為全面的闡述［12］；Chen 等人對網絡邊緣DL應用的場景以及在網絡邊緣部署分布式DL算法的常見方法進行了研究［15］；Wang 等人從AI 、EC各自的應用場景以及二者相結合的應用場景角度更加全面地介紹了EI［16］；也有一些文獻從AI驅動的霧計算的角度對 EI進行了研究［17－18］。
例如，Peng和 Zhang全面總結了霧－無線電接入網的性能分析和無線電資源配置設定的最新進展。然而，EI的主題涉及範圍廣泛，無論是起源還是性質，這些文獻都沒有完全涵蓋。還有許多問題沒有得到解決，正因為如此，本文對EI進行分類闡述，以一種簡單明了的方式将EI的重點内容呈現出來。具體來說，本文将EI分為基于EC的 AI（AI on edge）和基于AI 的EC（AI for edge）。AI on edge可以了解為在邊緣環境中部署AI算法；AI for edge可以了解為利用AI算法解決EC中的優化問題，現有關于EI的研究都可以大緻分為這兩大類。
1.EC和AI的關系
AI和EC的結合是必然，它們之間存在着一種互動關系。AI為EC提供解決問題的技術和方案，而EC為AI提供釋放潛力的平台。
1.1 AI為EC提供技術和方法
EC是一種分布式計算範式，通過建構軟體定義的網絡來分散資料，提供具有魯棒性和彈性的服務。EC在不同的層次上面臨資源配置設定問題，如CPU周期頻率、通路權限、射頻、帶寬等。是以，對各種功能強大的優化算法提出了很高的要求，以提高系統的效率。從本質上講，EC将真實場景中的優化問題進行模組化，然後用梯度下降方法疊代地尋找漸近最優 解。無論是統計學習方法還是DL方法都可以為邊緣提供幫助。此外，包括多智能體學習、深度Ｑ－網絡（Deep Q－Network，DQN）在内的強化學習在邊緣資源配置設定問題中發揮着越來越重要的作用。
1.2 EC為AI提供場景和平台
IOT裝置的激增使萬物互聯成為現實。除了雲資料中心外，更多的資料是由邊緣網絡裝置建立的。更多的應用場景，如自動駕駛、智能家居、智慧城市等，都可以極大地促進AI從理論到實踐的實作。此外，通信品質高、計算能力要求低的AI 應用可以從雲遷移到邊緣，可以說，EC為AI提供了一個功能豐富的平台，得以讓AI盡情地釋放其内在潛力。
2.AI on edge
在這一部分，本文将 AI on edge的研究工作分為模型訓練和模型推理兩部分。其中模型訓練部分重點介紹目前流行的聯邦學習（Federated Learning，FL）在邊緣環境中的一些研究工作；在模型推理部分，本文主要介紹模型的優化、分割以及共享三方面的工作。最後，本文對上述兩部分的工作做相應的總結分析。
2.1 模型訓練
在邊緣環境中，本文将在邊緣側進行的AI模型訓練稱之為“AI on edge ”。這種訓練需要大量資源來進行資料參數的交換更新，但往往存在着資料隐私暴露的風險。幸運的是，FL作為一種新興的分布式學習架構，能夠很好地解決AI on edge存在的一些問題。對于EC中能力多樣、網絡條件有限的裝置，FL可以在處理NonIID訓練資料時保護隐私，在高效通信、資源優化和安全等方面具有良好的擴充性。表1中列出了一些關于FL的工作。
丨2.1.1 标準FL
FL［19］作為端－邊－雲之間的一種實用的深度學習訓練機制而出現。在 FL的架構下，移動裝置被視為執行本地訓練的用戶端。同時，雲中的終端裝置、邊緣節點和伺服器在一定條件下也可以等價地視為FL 中的用戶端。下面讨論基于邊緣計算的聯邦學習基本原理。FL不需要上傳資料到中心雲進行訓練，邊緣裝置隻需要使用本地資料訓練本地DL模型，然後上傳更新後的DL模型參數。在标準FL中有兩個角色：具有本地資料的用戶端和負責模型聚合的聚合伺服器。
整個FL的過程如下：① 請求一組用戶端從伺服器下載下傳初始化全局DL模型參數；② 用本地資料在下載下傳的全局模型參數上訓練本地模型；③ 将更新後的本地模型參數上傳到服務 器，接着對本地模型參數進行權重聚合得到全局模 型參數。如圖 1所示，根據FL中的兩個角色和EC三個層次之間的關系，有3種可行的訓練FL的解決 方案：① 端－邊合作：邊緣節點代替雲作為伺服器， 端側作為用戶端；② 邊－雲合作：邊側作為用戶端參與 FL，而雲作為聚合伺服器；③ 端－邊－雲合作：端邊兩側作為用戶端參與FL，而雲作為聚合伺服器，這種方式可以結合上述兩種方式的優點。
丨2.1.2 高效通信FL
在FL訓練過程中，不用将原始資料上傳到伺服器，可以說在很大程度上降低了通信代價。但如果本地訓練的DL模型足夠大，從邊緣裝置向中心 伺服器上傳模型參數也會消耗大量的通信資源。為了解決這一問題，有學者提出讓FL邊緣裝置定期地（不是持續地）與中央伺服器通信，以尋求關于全局DL模型的共識［20］。此外，FL架構下，DL模型參數的壓縮和學習政策的創新也能實作FL高效通信的目的。例如，在文獻［21－22］中，提出了一種稀疏三元壓縮方法，實作用戶端和伺服器之間參數傳輸的上下遊通信壓縮，達到降低通信代價的目的；文獻［23］提出了一種異步學習政策，該學習政策将不同層次的深度神經網絡分為淺層和深層，深層的參數更新頻率低于淺層。此外，在伺服器上引入時間權重聚合政策，利用之前訓練的局部模型，進而提高中心模型的準确性和收斂性。
另外，與雲相比，邊緣裝置的計算資源非常稀缺。提高通信效率還需要考慮其他挑戰：① 計算資源在邊緣裝置上是異構的和有限的；② 邊緣裝置上 的訓練資料可能是Non-IID的。基于此，文獻［24］推導出的Non-IID分布式學習的收斂界，可以保證在理論上優化所有參與裝置在給定資源預算下的聚集頻率。
丨2.1.3 資源優化FL
當FL将相同的神經網絡模型部署到異構的邊緣裝置時，計算能力較弱的裝置可能會極大地延遲全局模型的聚合。雖然将掉隊者從協作中剔除可以 在一定程度上緩解延遲問題，但掉隊者可能會保留從非相同資料集學習到的獨特和關鍵資訊，直接剔除會損害整體協作性能。是以，文獻［25］中提出了異構感覺FL架構Helios 來解決裝置能力異構的問題。Helios識别單個裝置的異構訓練能力，是以預期的神經網絡模型訓練量與協作訓練速度有關。針對掉隊裝置，提出了一種軟訓練方法，通過旋轉神經元訓練方法将原始相同訓練模型動态壓縮到期望體積。通過廣泛的算法分析和優化方案，可以在保持局部訓練和聯邦協作收斂的同時，充分利用掉隊者的資訊。實驗表明，在不同的協作設定下，Helios可以提供高達2.5倍的訓練加速度并提高4.64％的收斂精度。
同時，在移動EC場景中部署FL 時，FL的執行時間主要取決于用戶端數量及其計算能力。是以，為了最小化FL的訓練時間，對FL 進行适當的資源配置設定不僅需要考慮FL參數（如計算通信的精度水準），還需要考慮用戶端的資源配置設定（如功率和CPU周期）。但是，用戶端能耗的最小化和 FL執行時間 存在沖突。例如，用戶端可以通過始終保持低頻率的CPU 來節省能源，但這肯定會增加訓練時間。
是以，為了在能量消耗和訓練時間之間取得平衡，文獻［26］首先為每個用戶端設計了一種新的算法———FEDL，對其局部問題進行近似求解，直到達到局部精度水準。然後，利用帕累托效率模型，提出了無線網絡中FEDL的非凸資源配置設定問題，以擷取用戶端能量成本和FL執行時間之間的權衡。最後，利用該問題的特殊結構，将其分解為3個子問題，并據此推導出閉解，表征了帕累托效率控制旋鈕對最優解的影響。
此外，FL中涉及的裝置數量通常很大，從數億到數百萬不等。當裝置數量巨大時，在每輪用戶端和伺服器進行通信時，将這些裝置的本地模型參數全部上傳到伺服器進行權重聚合是不現實的。為了解決裝置數量帶來的通信壓力問題，文獻［27］提出了一個經驗驅動的控制架構，該架構利用強化學習智能地選擇用戶端裝置參與每一輪的全局聚合，在減少通信輪數的情況下達到同等模型精度的實作。
丨2.1.4 安全增強FL
在分布式訓練場景中，用戶端的資訊交流是涉及到分布式機器學習中的隐私核心問題。FL避免了上傳訓練資料可能導緻的隐私洩露，但同時也引 入了模型更新的隐私問題。可以引入差分隐私（Differential Privacy ,DP） 的技術，在敏感資料中添加噪聲來嚴格量化表達式控制資訊的公開，有助于降低FL訓練更新中隐私洩露的威脅，常見的幾種FL 的模型如圖2所示。
為了解決FL訓練時的隐私問題，用戶端首先利用自己的資料計算模型參數更新，然後進行差分隐私處理，最後上傳處理後的模型參數并進行模型 聚合。從另一個角度來看，聚合伺服器對訓練裝置也不應該完全信任，因為對手可能會毒害他們的訓練資料或直接篡改模型更新，進而導緻對全局模型的破壞。為了使FL能夠容忍擁有中毒資料集的少量裝置參與訓練，魯棒聯邦優化［28］定義了一個修剪的平均操作。通過過濾有毒裝置産生的值和正常裝置中的自然離群值，實作了魯棒聚合，保護全局模型不受中毒資料的影響。
除故意攻擊外，還應關注不可預測的網絡條件和計算能力給安全帶來的被動不利影響。無線通信噪聲不可避免地阻礙了訓練裝置與聚合伺服器之間的資訊交換，這可能對訓練延遲和模型可靠性産生重大影響。在文獻［29］中，提出了基于期望模型和最壞情況模型下的并行優化問題，并分别采用正則化的損失函數逼近算法和基于抽樣的逐次凸逼近算法求解這兩個模型。理論分析表明，該方法具有可接受的收斂速度；仿真結果表明，該方法提高了模型精度，降低了損耗函數。
反過來，FL中聚合伺服器的故障也可能導緻不準确的全局模型更新，進而污染所有本地模型參數的更新過程。此外，資料樣本數量較多的邊緣裝置可能不太願意與貢獻較少的其他裝置一起參與FL。是以，在文獻［30］中，提出了将區塊鍊和FL結合為Block FL，以實作：① 在每個邊緣裝置而不是特定伺服器上進行局部全局模型更新，確定在更新全局模型時，裝置故障不會影響其他局部更新；② 刺激邊緣裝置參與FL的适當獎勵機制。
2.2 模型推理
随着對精度要求的提高，深度神經網絡（DNN）的層數也越來越深，如此就需要更大規模的資料集，這樣會造成昂貴的計算費用。是以，之前的 AI模型都是部署在高性能的雲計算平台上，而終端裝置隻是将輸入資料發送到雲端，然後等待AI推理結果。然而，僅雲推理限制了AI服務的部署。此外，對于重要的資料源，應解決資料安全和隐私保護問題。為了解決這些問題，AI服務往往訴諸EC。是以，AI模型需要進一步定制，以适應資源受限的邊緣，同時仔細處理其推理精度和執行延遲之間的權衡。本小節從模型優化、模型分割以及模型共享三方面對模型推理做了詳細的闡述。
丨2.2.1 模型優化AI
任務通常是計算密集型的，需要很大的記憶體占用。但在邊緣，沒有足夠的資源來支援原始的大規模AI模型。優化AI 模型并量化其權重可以降低資源成本。下面讨論3種常用的模型優化方法。
(1) 參數剪枝與共享
大量的參數是制約AI模型訓練效率的重要因素。是以，為了實作更高效、快速的AI模型訓練，一些研究者對AI模型進行了參數剪枝和共享的優化。文獻［31］中提出了緩存相鄰層之間的中間資料，以減少資料移動。此外，像二值化一樣的量化也是一個很好的分支。在XNOR-Net ［32］中，不僅濾波器近似于二進制值，卷積層的輸入也是二進制的。卷積主要是用二進制運算來近似的。這些措施提供了58倍的加速，同時在某些資料集（如CIFAR-10）上實作了類似的精度。
(2) 傳輸/緊湊卷積濾波器
為了實作AI模型的優化，可以設計一種特殊結構的卷積濾波器來節省參數。但該方法隻适用于卷積層。在文獻［33］中，提出的SqueezeNet 比AlexNet 的參數減少了50倍，且在ImageNet上實作了相同的精度水準。減少參數的方法是用1×1濾波器代替3 × 3濾波器，并減少輸入通道的數量。同時，在網絡後期進行降采樣是為了使精度最大化。
(3) 知識蒸餾
文獻［34］中首次提出了知識蒸餾的概念，它是一種将知識從複雜的AI模型轉移到緊湊的AI模型的方法。一般來說，複雜的AI模型是強大的，而緊 湊的AI模型更靈活和高效。知識蒸餾可以利用一個複雜的AI模型來訓練一個緊湊的AI模型，使其具有與複雜 AI模型相似的性能。這些方法可以應用于不同類型DNN或組合來優化複雜的邊緣AI模型。
丨2.2.2 模型分割
以往，大多數智能應用程式隻在雲中執行，而邊緣裝置隻扮演收集和上傳資料的角色。如今，随着技術的進步，邊緣裝置有了更好的硬體配置，研究人員開始思考是否通過深度學習模型的分割将部分或全部計算任務推到邊緣。這樣可以将大量的計算任務分解成不同的部分，不同的裝置可以協同解決問題。
在文獻［35］中，對最先進的AI模型在雲和邊 緣裝置上的延遲和功耗進行了評估，發現将資料上 傳到雲是目前AI服務方法的瓶頸（導緻傳輸開銷很大）。劃分AI模型并進行分布式計算，可以獲得更好的端到端延遲性能和能源效率。此外，通過将部分DL任務從雲推送到邊緣，可以提高雲的吞吐量。
最常用的一種分割方法是将AI模型水準分割，即沿端－邊－雲進行分割。資料分析的過程通常分為兩部分［36］，一部分在邊緣處理，另一部分在雲中處理。由于上傳資料減少了中間資料，這樣既減少了邊緣與雲之間的網絡流量，又避免了資料傳輸中安全隐私洩露的風險.
另一種模型分割方法是垂直分割，特别是CNN。相對于水準分區，垂直分區将層進行融合，以網格的方式進行垂直分區，将CNN各層劃分為獨立的可分布計算任務。Deep Things［37］利用了一種名為“融合TilesPartitioning（FTP）”的新方法，融合層以網格方式垂直劃分。實驗結果表明，在不降低精度的情況下，FTP至少可以将記憶體占用減少到32％。同樣，J.Zhang的團隊在文獻［38］中為本地分布式移動計算設計了一個架構，提出了一種通用的神經網絡層分割工具，測試了一些常見的神經網絡，其中Google Net 的實驗得到了最好的性能，該系統幾乎 将總延遲減少了一半。
丨2.2.3 模型共享
AI的計算往往是複雜的，密集的計算是對裝置資源的巨大考驗。然而，AI計算具有高度的邏輯性，使得不同的DL操作過程具有一定的相關性。是以，如何利用DL操作的相關性成為優化AI模型的出發點。對于AI計算的共享，一種思路是對推理結果進行緩存和重用，以避免備援操作，該思路在一些場景中取得了良好的實踐效果。
邊緣節點覆寫範圍内附近使用者的請求可能表現出時空局域性［39］。例如，同一區域内的使用者可能會 請求對同一感興趣的對象進行識别任務，這可能會引入DL推理的備援計算。在這種情況下，Cachier ［39］在對應用進行離線分析和線上估計網絡條件的基礎上，提出将識别應用的相關AI模型緩存到邊緣節點，并通過動态調整其緩存大小來最小化預期的端到端延遲。是以，當緩存中的AI模型能夠滿足請求的要求時，可以直接從緩存中擷取AI模型進行使用。通過這種方式，可以通過使用緩存和重用來避免備援操作。
此外，為了繼續進行有效的緩存和結果重用，必須解決可重用結果的精确查找問題，即緩存架構必須系統地容忍變化并評估關鍵的相似性。Foggy Cache［40］首先将異構原始輸入資料嵌入到具有通用表示的特征向量中；然後，提出了自适應局部敏感哈希（Adaptive Locality Sensitive Hashing，A-LSH），即一種常用來索引高維資料的局部敏感哈希的變體， 對這些向量進行索引，以實作快速準确的查找；最後，基于Ｋ緊鄰（k-Nearest Neighbor，KNN） 實作均勻化，利用緩存的值去除離群值，確定初始選擇的K條記錄之間存在主導聚類，進而确定A-LSH查詢記錄的重用輸出。是以，通過對可重用結果的精确查找和計算結果的緩存，可以減少AI模型的計算量，減輕對硬體資源的壓力。
與共享推理結果不同的是，文獻［41］通過不同AI模型之間的共享來減少計算量。通過考慮訓練樣本之間的相關性，作者提出了同一目标區域内的 遷移學習算法，即如果一個目标區域記憶體在多個相關的AI模型，那麼一個AI模型的訓練也可以使其他相關的AI模型受益。該方法通過共享訓練良好的AI模型，減少了未訓練的AI模型在同一目标區域的AI計算量。
2.3 目前面臨的挑戰
盡管AI on edge的工作研究很多，但也存在一些很明顯的挑戰。本文分别從資料可用性、模型訓練、協調機制和性能名額四方面列舉了AI on edge的重大挑戰。
資料品質
資料的可用性是一切模型訓練的基礎。首先，對于提供原始資料的使用者需要提供一定的激勵才能獲得更加有用的真實資料，是以對提供資料的使用者設計合理的激勵機制是十分重要的。否 則，原始資料可能無法用于模型訓練和推斷。此外，來自各個終端裝置的原始資料可能會有明顯的偏差，這将極大地影響學習性能。盡管聯合學習可以 克服NonIID所帶來的問題，在一定程度上，訓練過程在設計魯棒通信協定方面仍面臨很大困難。是以，在資料可用性方面存在着巨大的挑戰。
模型訓練
目前，從模型本身到訓練架構和硬體，AI 模型的訓練面臨着以下兩方面的嚴峻挑戰。第一，基于AI模型時效的考量，如何确定合适的模 型學習精度門檻值，以利于AI模型的快速傳遞和部署；第二，如何在有限的資源下選擇探索性訓練架構和加速器架構。模型選擇、資源配置和管理耦合，問題複雜而富有挑戰性。
協調機制
考慮到異構裝置之間的計算能力和通信資源的差異，得到的AI模型無法在所有的裝置适用，這可能會導緻相同的方法在不同的移動裝置 叢集中獲得不同的學習結果。是以，考慮異構邊緣 器件之間的相容性和協調具有重要的意義。是以，在端－邊－雲之間設計一種協調機制是十分必要的， 這種機制将為不同的邊緣裝置提供一個統一的API接口。
性能名額
由于EC網絡的不确定性特征（無線信道品質變化、并發業務請求不可預測等），常用的标準性能名額（如Topk精度或平均精度）不能反 映邊緣環境中AI模型推理的運作性能。是以，這将導緻無法準确量化和比較不同AI模型的性能。除了模型精度之外，推理延遲、資源消耗和服務收入也是關鍵名額。由于服務類型和應用場景的不同，一個邊緣AI服務往往涉及多個名額，這時就會出現一個新的問題，即多個名額之間的權衡。由于EI服務的特點，不同的名額對服務的影響也不同。然而，如何準确地平衡多個名額，使綜合績效最大化，已成為定量EI服務性能的關鍵。是以需要識别EI的關鍵性能名額，并探索這些名額之間的權衡，以幫助提高EI部署的效率。
3.AI for edge
在這一部分，将AI for edge的研究工作分為任務解除安裝和邊緣緩存兩部分。
3.1 任務解除安裝
邊緣計算允許邊緣裝置在能量、延遲、計算能力等限制下，将部分計算任務解除安裝給邊緣節點［42］。但如圖3所示，存在如下一些挑戰：① 當一個邊緣裝置處于多個邊緣節點的服務範圍時，如何選擇合适的節點進行任務解除安裝；②對于有一定計算資源的邊緣裝置，需要平衡在本地和在邊緣節點執行任務時的資源消耗和延遲程度，以此達到一個最優的執行政策；③由于應用程式服務的多樣性，邊緣裝置也需要處理各種各樣的任務。但是，不同類型的任務對資源的需求不同。是以，對各種資源的配置設定也是一個挑戰。
解決這類任務解除安裝問題是NPhard［43］，因為至少需要結合優化通信和計算資源以及邊緣裝置的競争。特别是，優化需要考慮無線環境的時變（如信道品質的變化）和任務解除安裝的要求，是以需要使用學習方法。在所有與基于學習的優化方法相關的工作中，當有多個邊緣節點和無線信道可進行計算解除安裝時，基于DL的方法比其他方法更具有優勢。下面介紹兩種基于DL的方法。
丨3.1.1 DNN用例
為了更高效地利用網絡資源，在DNN的基礎上研究者提出了許多高效解除安裝方案。例如，文獻［44］提出了一種将DNN劃分為多個分區的技術，這些分區可以在本地由終端裝置處理，也可以解除安裝到一個或多個強大的節點上。文獻［45］采用最短路徑法 和懲罰因子法确定DNN分區，并在每個DNN分區到達時增量建構DNN模型，允許用戶端在上傳整個DNN 模型之前就開始部分上傳，進而提高查詢性能；基于上傳開銷罰因子法，文獻［46］提出了一種增強分區法，該方法利用用戶端與雲／邊緣伺服器之 間的DNN執行圖上的最短路徑法對DNN層進行分區，生成更細粒度的上傳計劃；文獻［47］将DNN最優計算排程問題轉化為移動雲計算環境下的最短路徑問題和整數線性規劃（ICP），并通過層粒度優化 公式對DNN架構進行劃分，進而實作移動裝置和雲之間的協同計算。
文獻［48］提出了一種端邊雲協同 環境下的DN推理加速高效解除安裝方案（Eos DNN），其中DNN推理加速主要展現在遷移延遲的優化和實時DNN查詢的實作。此外，文獻［49］研究了關于區塊鍊的一個特殊解除安裝場景。邊緣裝置上挖掘任務的計算和能量消耗 可能會限制區塊鍊在EC網絡中的實際應用。當然，這些挖掘任務可以從邊緣裝置解除安裝到邊緣節點，但這可能導緻邊緣資源配置設定不公平。
丨3.1.2 DRL用例
雖然将計算任務解除安裝到邊緣節點可以提高計算任務的處理效率，但由于無線環境的潛在品質較低，解除安裝的可靠性受到影響。在文獻［50］中，為了使解除安裝效用最大化，作者首先量化了各種通信模式對任務解除安裝性能的影響，并據此提出了應用DQL（Deep QLearning）線上選擇最優目标邊緣節點和傳輸模式的方法。文獻［51］不僅考慮了延遲違反機率，還 考慮了解碼錯誤機率，指出了傳輸資料的編碼速率是使解除安裝達到要求的可靠性水準的關鍵；考慮了編碼塊長度的影響，提出了計算資源配置設定的馬爾可夫決策過程（MDP），以提高平均解除安裝可靠性。
此外，還有不少文獻讨論了邊緣裝置細粒度計算資源的排程問題，主要涉及到任務解除安裝中的能量收集問題。例如，文獻［52］使用DDQL提出了一種最佳的動态電壓頻率縮放算法，實驗結果顯示與 DQL相比，DDQL可以節省更多的能量，實作更高的解除安裝效率。與之前基于DQL 的離散功率控制政策不同，文獻［53］提出了一種具有連續動作空間（而非離散動作空間）的DRL方法DDPG，對局部執行和任務解除安裝進行更細粒度的功率控制。該方法可以自适應地配置設定邊緣裝置的功率，以使其長期平均成本最小，數值仿真驗證了該方法相對于基于DQL的離散功率控制政策的優越性。
3.2 邊緣緩存
随着各類智能終端裝置的興起，多媒體應用、手機遊戲、社交應用等服務也得到了快速發展。這一趨勢在給網絡架構帶來越來越大流量壓力的同時，也展示了一個有趣的特性，即相同的内容經常被同一區域的裝置多次請求。這一特性促使研究人員考慮如何緩存内容，以實作對請求的快速響應，并減少網絡上的流量負載。從内容傳遞網絡到蜂窩網絡的 内容緩存，網絡中的内容緩存研究從未停歇，以此來應對不斷增長的多媒體業務需求。邊緣緩存［54］ 符合向使用者推送内容的理念，被認為是進一步減少備援資料傳輸、緩解雲資料中心壓力、提高QoE（Quality of Experience ） 的一種很有前景的解決方案。
邊緣緩存可以利用地理位置上離使用者較近的邊緣節點緩存熱點内容，進而實作對服務範圍内請求 的快速響應。是以，邊緣緩存不僅可以實作更快的請求響應，還可以減少網絡中相同内容的重複傳輸。然而，邊緣緩存也面臨許多挑戰。通常，邊緣緩存需要解決兩個密切相關的問題：①邊緣節點覆寫範圍内熱門内容的分布難以估計，可能會随時空變化而不同，并發生變化［55］；② 針對EC環境中海量異構裝置的特點，層級化的緩存體系結構和複雜的網絡特性使内容緩存政策的設計更加困難［56］。具體來說，隻有當内容流行度分布已知時，才能推導出最佳邊緣緩存政策。然而，使用者對内容的偏好實際上是未知的，因為他們的移動性、個人偏好和連通性可能 一直在變化。在本小節中，将讨論用于确定邊緣緩存政策的DL學習算法。
丨3.2.1 DNN用例
傳統的緩存方法通常計算複雜度較高，因為它們需要大量的線上優化疊代來确定使用者和内容的特 征以及内容放置和傳遞政策。
① DL可以用來處理從使用者的移動裝置上收集到的原始資料，進而提取使用者和内容的特征，作為基于特征的内容流行矩陣。這個流行度矩陣可以量化使用者和内容的流行度，為緩存決策提供數字基礎。例如，文獻［57］提出在FL的架構下使用自動編碼器實作使用者資訊和檔案資訊的特征提取，然後根據相似度矩陣給出推薦的緩存清單。
② 在使用DNN優化邊緣緩存政策時，可以通過離線訓練避免線上繁重的計算疊代。DNN由一個用于資料正則化的編碼器和後面的隐藏層組成， 可以用最優或啟發式算法生成的解進行訓練并部署，以确定緩存政策［58］，進而避免線上優化疊代。類似地，在文獻［59］中，受部分緩存重新整理優化問題 的輸出具有某些模式的啟發，訓練 MLP接收目前内容流行度和最後一次内容放置機率作為輸入，以生成緩存重新整理政策。
雖然可以設計和實作基于DNN的緩存内容放置 和傳遞政策，但仍存在一些不足。如文獻［58－59］所示，優化算法的複雜性可以轉移到DNN 的訓練中， 進而打破了使用優化算法的實際局限性。在這種情 況下，DL用于學習輸入———解關系，而基于DNN的方法隻有在原始緩存問題存在優化算法時才可用。是以，基于DNN方法的性能受固定的優化算法限 制，不具有自适應性。
此外，DL還可以用于定制邊緣緩存。例如，為了最小化自動駕駛汽車的内容下載下傳延遲，在雲中部署一個 MLP來預測需要請求的内容的流行程度，然後将 MLP 的輸出發送到邊緣節點（即文獻［60］中RSu的 MEC伺服器），最後根據這些輸出，每個邊緣節點緩存最有可能被請求的内容。
但是，對于不同特征的使用者，他們對内容的偏好是不同的。是以，可以将使用者深度劃分為不同的類别，然後探究每個類别中使用者的偏好，這對提高内容緩存的命中率有積極的影響。在自動駕駛汽車方面，CNN被選中預測車主的年齡和性别。一旦識别出車主的這些特征，就使用Ｋmeans聚類和二值分類算法來确定哪些已經緩存在邊緣節點的内容需要進一步從邊緣節點下載下傳并緩存到汽車上。此外，文獻［61］在充分利用使用者特性方面指出，在不同的環境中，使用者通路内容的意願是不同的。受此啟發，RNN被用來預測使用者的軌迹。然後根據這些預測，将所有使用者感興趣的内容預取并提前緩存到每個預測位置的邊緣節點。
丨3.2.2 DRL用例
上節中描述的DNN功能可以看作是整個邊緣 緩存解決方案的一部分，即 DNN本身并不處理整個優化問題。與這些基于DNN的邊緣緩存不同，DRL可以利用使用者和網絡的上下文環境，以自适應政策最大化長期緩存性能作為優化方法的主體。
與傳統的RL，如Qlearning［62］和Multi-ArmedBandit（MAB） Learning［55］相比，DRL的優勢在DNN可以從原始觀測資料中學習關鍵特征。結合RL和DL的內建DRL agent 可以直接從高維觀測資料中優化EC網絡的緩存管理政策。
文獻［63］使用DDPG來訓練DRL代理，以最大化長期緩存命中率，做出适當的緩存替換決策。該工作考慮單個BS場景，在該場景中，DRL代理決定是緩存請求的内容還是替換緩存的内容。在訓練DRL代理時，獎勵被設計為緩存命中率。此外，利用Wolpertinger架構［64］來應對大行動空間的挑戰。具體來說，首先為DRL代理設定一個主要操作集，然後使用KNN将實際操作輸入映射到該集合中的一個。通過這種方式，操作空間被有意地縮小，而不 會丢失最優的緩存政策。與基于DQL的算法搜尋 整個動作空間相比，經過訓練的DRL代理與DDPG和 Wolpertinger體系結構相比，能夠在降低運作時 間的同時實作具有競争力的緩存命中率。
另外，考慮到流行内容的時變性，文獻［65］使用Wolpertinger 架構的深度強化學習架構研究無線網絡邊緣的内容緩存。特别地，提出了基于深度行為者－批評強化學習的集中和分散内容緩存政策。仿真結果驗證了該政策相比最少使用政策（LFU）、最少最近使用政策（LRU）和先進先出政策（FIFO）具有很強的優越性。
3.3 目前面臨的挑戰
雖然AI for edge 的應用比較廣泛，但也存在一些挑戰。本節從系統模組化、算法部署、優化與效率的平衡和資源編排四個方面列舉了AI on edge 的重大挑戰。
系統模組化
使用AI方法進行系統模組化時，公式化模型的數量必須是有限的。但模型數量的有限，使得一些以SGD和MBGD優化基礎的AI算法可能無法很好地工作。同時針對MDP問題，狀态集和動作集又不能是無限的，在進一步處理之前需要進行離散化，以避免維數災難問題的出現。一般的解決方法是将限制轉化為懲罰，并将其納入全局優化目标。這種現狀極大地制約了數學模型的建立，導緻性能下降。這種情況可以被看作是利用AI方法的 一種妥協。是以，這對在EC中建立合适的系統模型構成了挑戰。
算法部署
對于邊緣的AI算法來說，當這些算法以線上方式部署在邊緣時，會面臨諸多挑戰。此外，另一個被忽略的問題是，由哪個邊緣裝置來部署 和運作所提出的複雜算法。現有的研究工作通常集 中在具體問題上，而沒有提供細節。
優化與效率的平衡
盡管AI技術确實能夠提 供最優的解決方案，但在資源受限的邊緣環境中，研 究者更多的是關心如何在有限的資源下實作更高的 算法效率。特别是在嵌入式的行業中，大多的裝置都是資源受限的，但在嵌入式裝置上部署的任務确實很 多，要完成這些任務，就需要把有限的資源最大化。是以，如何在嵌入AI技術的情況下，提高EC系統在不同應用場景下的可用性和效率是一個嚴峻的挑戰。
資源編排
為了充分利用邊緣計算的去中心化資源，需要建立與現有雲計算基礎設施的連接配接。由于EI的部署環境通常是高度動态的，邊緣計算架構需要優秀的線上資源編排和參數配置，才能支援大量的AI服務。異構計算資源、通信資源和緩存資源的實時聯合優化、高維系統參數配置是關鍵。然而，目前還沒有相關的工作深入研究部署和使用這些DL技術在實際邊緣計算網絡或測試平台上，進行長期線上資源編排的性能分析。
４.結論
EI的發展處于初始階段，吸引了衆多的學者參與研究，本文通過一個簡單明了的分類對EI的研究現狀提供一些參考。具體來說，本文首先分析了 AI和EC的關系，提出了在IoT時代二者結合的必要性，進而引出EI的概念；接着，本文将EI分為AI on edge和AI for edge 兩部分，然後從模型訓練、模型推理兩方面闡述了AI on edge現狀，并給出了存在的一些挑戰；對于AI for edge，本文從任務解除安裝和邊緣緩存兩方面進行了闡述，并給出了可能存在的挑戰。最後，希望本文能夠激發相關學者對EI未來研究的興趣。
參考文獻如下：
[1] ASIFURRAHMAN M,AFSANA F,MAHMUD M,et al. Toward a Heterogeneous Mist, Fog, and Cloudbased Framework for the Internet of Healthcare Things[ J].IEEE Internet of Things Journal,2019,6(3):4049-4062.
[2] ZWOLENSKI M, WEATHERILL L. The Digital Universe Rich Data and the Increasing Value of the Internet of Things[ J].Journal of Telecommunications and the Digital Economy,2014,2(3):1-9.
[3] CHIANG M, ZHANG T. Fog and IoT: An Overview of Research Opportunities[ J].IEEE Internet of Things Jour nal,2017,2(6):854-864.
[4] AHMED A,AHMED E.A Survey on Mobile Edge Compu ting[ C ] ∥ IEEE Conference on Intelligent Systems & Control.Coimbatore:IEEE,2016:1-10.
[5] SHI W,CAO J,ZHANG Q,et al. Edge Computing:Vision and Challenges[ J].IEEE Internet Things Journal,2016,3(5):637-646.
[6] PREMSANKAR G, FRANCESCO M D, TALEB T. Edge Computing for the Internet of Things:A Case Study[ J]. IEEE Internet Things Journal,2018,5(2):1275-1284.
[7] MAO Y, YOU C, ZHANG J, et al. A Survey on Mobile Edge Computing: The Communication Perspective [J]. IEEE Communications Surveys & Tutorials,2017,19(4): 2322-2358.
[8] CHEN J.The Evolution of Computing:AlphaGo[ J]. Com puting in Science & Engineering,2016,18(4):4-7.
[9] SHAHABI C. The Future of Driverless Cars [ M ]. New York:Springer,2016.
[10] ZENG S,WU M.Based on Public Health Service in Smart Medical Comprehensive Service Platform [ C ] ∥ IEEE Conference on Computation, Communication and Engi neering.Longyan:IEEE,2019:1-4.
[11] HAO X,ZHANG G,MA S.Deep Learning[J].International Journal of Semantic Computing,2016,10(3):417-439.
[12] ZHOU Z,CHEN X,LI E,et al. Edge Intelligence:Paving the Last Mile of Artificial Intelligence with Edge Computing[ J]. Proceedings of the IEEE,2019,107( 8): 1738-1762.
[13] ZHANG X, WANG Y, LU S, et al. Open EI: An Open Framework for Edge Intelligence[ C] ∥IEEE 39th Inter national Conference on Distributed Computing Systems( ICDCS).Dallas:IEEE,2019:1840-1851.
[14]李肯立,劉楚波. EI: 現狀和展望[ J]. 大資料, 2019, 5(3):72-78.
[15] CHEN J, RAN X. Deep Learning with Edge Computing: A Review[ J]. Proceedings of the IEEE, 2019, 107( 8): 1655-1674.
[16] WANG X,HAN Y,LEUNG V,et al.Edge AI:Convergence of Edge Computing and Artificial Intelligence [ M]. New York:Springer Press,2020.
[17] MAO Q, HU F, HAO Q. Deep Learning for Intelligent Wireless Networks: A Comprehensive Survey [ J ]. IEEE Communications Surveys & Tutorials, 2018, 20 ( 4 ): 2595-2621.
[18] CHEN M,CHALLITA U,SAAD W,et al.Artificial Neural Networksbased Machine Learning for Wireless Networks: A Tutorial [ J ]. IEEE Communications Surveys & Tutorials,2019,21(4):3039-3071.
[19] MCMAHAN H,MOORE E,RAMAGE D,et al. Communi cationefficient Learning of Deep Networks from Decen tralized Data[ C] ∥Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale:AISTATS,2017:1273-1282.
[20] ABAD M,OZFATURA E,GUNDUZ D,et al. Hierarchical Federated Learning Across Heterogeneous Cellular Networks[ C] ∥IEEE Conference on Acoustics, Speech, and Signal Processing.Brighton:IEEE,2019:8866-8870.
[21] SATTLER F,WIEDEMANN S,MULLER K,et al. Robust and CommunicationEfficient Federated Learning from Noni.i.d. Data[J].IEEE Transactions on Neural Networks and Learning Systems,2020,31(9):3400-3413.
[22] XU J, DU W, CHENG R, et al. Ternary Compression for CommunicationEfficient Federated Learning [ J / OL ]. arXiv:2003. 03564v1, 2020. [ 2021 - 08 - 19]. https: ∥ arxiv.org / abs / 2003.03564.
[23] CHEN Y, SUN X, JIN Y. CommunicationEfficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation [ J]. IEEE Transactions on Neural Networks and Learning Systems, 2020,31(10):4229-4238.
[24] WANG S, TUOR T, SALONIDIS T, et al. When Edge Meets Learning: Adaptive Control for Resource Constrained Distributed Machine Learning [ C ] ∥ IEEE INFOCOM.Honolulu:IEEE,2018:63-71.
[25] XU Z,YU F,YANG Z,et al. Helios:HeterogeneityAware Federated Learning with Dynamically Balanced Collabora tion[ J / OL].arXiv:1912.01684v2,2021.[ 2021- 08- 17]. https:∥arxiv.org / abs / 1912.01684v2.
[26] DINH C,TRAN N,NGUYEN M,et al.Federated Learning over Wireless Networks: Convergence Analysis and Resource Allocation[ J].IEEE / ACM Transactions on Net working,2021,29(1):398-409.
[27] WANG H,KAPLAN Z,NIU D,et al.Optimizing Federated Learning on NonIID Data with Reinforcement Learning[ C] ∥IEEE INFOCOM.Honolulu:IEEE,2020:1-10.
[28] XIE C,KOYEJO S,GUPTA I.Practical Distributed Learn ing:Secure Machine Learning with Communicationefficient Local Updates[J / OL]. arXiv:1903.06996v1,2019.[ 2021- 07-29].https:∥arxiv.org / abs / 1903.06996v1.
[29] ANG F,CHEN L,ZHAO N,et al.Robust Federated Learn ing with Noisy Communication[ J]. IEEE Transactions on Communications,2020,68(6):3452-3464.
[30] KIM H, PARK J, BENNIS M, et al. Ondevice Federated Learning via Blockchain and Its Latency Analysis[ J / OL]. arXiv:1808. 03949v2, 2019. [ 2021 - 07 - 28]. https: ∥ arxiv.org / pdf / 1808.03949.pdf.
[31] ALWANI M, CHEN H, FERDMAN M, et al. Fusedlayer CNN Accelerators[ C] ∥49th Annual IEEE International Symposium on Microarchitecture. Taipei: IEEE, 2016: 1-12.
[32] RASTEGARI M,ORDONEZ V,REDMON J,et al. XNOR Net: ImageNet Classification Using Binary Convolutional Neural Networks[C]∥2018 European Conference on Com puter Vision.Munich:ECCV,2016:525-542.
[33] IANDOLA F,HAN S,MOSKEWICZ M,et al.SqueezeNet: AlexNetlevel Accuracy with 50x Fewer Parameters and< 0.5 MB Model Size [ J / OL ]. arXiv: 1602. 07360v4, 2016. [ 2021 - 08 - 02 ]. https: ∥ arxiv. org / abs / 1602. 07360v4.
[34] HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network [ J / OL ]. arXiv: 1503. 02531v1,2015. [ 2021 - 08 - 06]. https: ∥arxiv. org / abs / 1503.02531.
[35] KANG Y, HAUSWALD J, GAO C, et al. Neurosurgeon: Collaborative Intelligence between the Cloud and Mobile Edge[ C] ∥Proceeding of 22nd International Conference Architecture Support Programming Language Operator System.Xi’ an:ASPLOS,2017:615-629.
[36] LI G,LIU L,WANG X,et al. Autotuning Neural Network Quantization Framework for Collaborative Inference between the Cloud and Edge[ C] ∥Proceeding of Interna tional Conference on Artificial Neural Networks. Kuala Lumpur:ICANN,2018:402-411.
[37] ZHAO Z,BARIJOUGH K,GERSTLAUER A,et al. Deep Things:Distributed Adaptive Deep Learning Inference on Resourceconstrained IoT Edge Clusters[ J]. IEEE Trans actions on ComputerAided Design of Integrated Circuits and Systems,2018,37(11):2348-2359.
[38] ZHANG J, CHEN B, LIN Y, et al. A Locally Distributed Mobile Computing Framework for DNN Based Android Applications[ C] ∥Proceeding of the Tenth AsiaPacific Symposium on Internetware.Beijing:CSERIS,2018:1-6.
[39] DROLIA U, GUO K, TAN J, et al. Cachier: Edgecaching for Recognition Applications[C]∥IEEE 37th International Conference on Distributed Computing Systems. Atlanta: ICDCS,2017:276-286.
[40] GUO P, HU B, LI R, et al. Foggy Cache: Crossdevice Approximate Computation Reuse[ C] ∥Proceeding of the 24th Annual International Conference on Mobile Computing and Networking.New Delhi:MobiCom,2018:19-34.
[41] WANG L, LIU W, ZHANG D, et al. Cell Selection with Deep Reinforcement Learning in Sparse Mobile Crowdsensing[ C] ∥2018 IEEE 38th International Confer ence on Distributed Computing Systems. Vienna: IEEE, 2018:1543-1546.
[42] MACH P,BECVAR Z. Mobile Edge Computing:A Survey on Architecture and Computation Offloading [ J ]. IEEE Communications Surveys & Tutorials, 2017, 19 ( 3 ): 1628-1656.
[43] CHEN X,JIAO L,LI W,et al.Efficient Multiuser Computation Offloading for Mobileedge Cloud Computing [ J]. IEEE / ACM Transactions on Networking, 2016, 24 ( 5): 2795-2808.
[44] MOHAMMED T, JOEWONG C, BABBAR R, et al. Dis tributed Inference Acceleration with Adaptive DNN Parti tioning and Offloading [ C] ∥ IEEE INFOCOM. Toronto: IEEE,2020:1-10.
[45] JEONG H,LEE H,SHIN C,et al. IONN:Incremental Off loading of Neural Network Computations from Mobile Devices to Edge Servers [ C] ∥ Proceedings of the ACM Symposium on Cloud Computing. Carlsbad: ACM, 2018: 401-411.
[46] SHIN K, JEONG H, MOON S. Enhanced Partitioning of DNN Layers for Uploading from Mobile Devices to Edge Servers[ C] ∥ the 3rd International Workshop on Deep Learning for Mobile Systems and Applications. Korea: ACM 2019:35-40.
[47] ESHRATIFAR A, ABRISHAMI M, PEDRAM M.JointDNN:An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services [ J]. IEEE Transactions on Mobile Computing, 2021, 20 ( 2 ): 565-576.
[48] XUE M,WU H, LI R, et al. EosDNN: An Efficient Off loading Scheme for DNN Inference Acceleration in Local EdgeCloud Collaborative Environments[ J]. IEEE Trans actions on Green Communications and Networking,2021: 1-17.
[49] LUONG N,XIONG Z,WANG P,et al.Optimal Auction for Edge Computing Resource Management in Mobile Block chain Networks:A Deep Learning Approach[ C] ∥IEEE Conference on Communications.Kansas City:IEEE,2018: 1-6.
[50] ZHANG K,ZHU Y,LENG S,et al.Deep Learning Empow ered Task Offloading for Mobile Edge Computing in Urban Informatics [ J ]. IEEE Internet Things Journal, 2019, 6(5):7635-7647.
[51] YANG T, HU Y, GURSOY M, et al. Deep Reinforcement Learning Based Resource Allocation in Low Latency Edge Computing Networks[ C] ∥15th International Symposium on Wireless Communication Systems.Lisbon:IEEE,2018: 1-5.
[52] ZHANG Q, LIN M, YANG L, et al. A Double Deep Qlearning Model for Energyefficient Edge Scheduling[ J]. IEEE Transactions on Services Computing,2019,12(5):739-749.
[53] CHEN Z,WANG X.Decentralized Computation Offloading for Multiuser Mobile Edge Computing:A Deep Reinforcement Learning Approach [ J ]. EURASIP Journal -on Wireless Communcations and Networking,2020(1):1 6.
[54] ZEYDAN E,BASTUG E,BENNIS M,et al.Big Data Cac hing for Networking:Moving from Cloud to Edge[ J].IEEE Communications Magazine,2016,54(9):36-42.
[55] SONG J, SHENG M, QUEK T, et al. Learningbased Content Caching and Sharing for Wireless Networks[ J]. IEEE Transactions Communications, 2017, 65 ( 10 ): 4309-4324.
[56] LI X,WANG X,WAN P,et al.Hierarchical Edge Caching in DevicetoDevice Aided Mobile Networks: Modeling, Optimization, and Design [ J]. IEEE Journal on Selected Areas in Communications,2018,36(8):1768-1785.
[57] YU Z,HU J,MIN G,et al.Federated Learning Based Pro active Content Caching in Edge Computing [ C] ∥ IEEE Global Communications Conference. Abu Dhabi : IEEE, 2018:1-6.
[58] CHANG Z, LEI L, ZHOU Z, et al. Learn to Cache: Machine Learning for Network Edge Caching in the Big Data Era [ J]. IEEE Wireless Communications, 2018, 25(3):28-35.
[59] YANG J, ZHANG J, MA C, et al. Deep Learningbased Edge Caching for Multicluster Heterogeneous Networks[ J]. Neural Computing & Applications, 2019, 32 ( 19): 1-12.
[60] NDIKUMANA A, TRAN N, HONG C. Deep Learning Based Caching for Selfdriving Car in Multiaccess Edge Computing[ J / OL]. arXiv: 1810. 01548v1, 2020. [ 2021 - 08-07].https:∥arxiv.org / abs / 1810.01548v1.
[61] TANG Y, GUO K, MA J, et al. A Smart Caching Mechanism for Mobile Multimedia in Information Centric Networking with Edge Computing [ J]. Future Generation Computer Systems,2019,91:590-600.
[62] GUO K, YANG C, LIU T. Caching in Base Station with Recommendation Via Qlearning [ C ] ∥ IEEE Wireless Communications and Networking Conference.San Francisco: IEEE,2017:1-6.
[63] ZHONG C,GURSOY M,VELIPASALAR S, et al.A Deep Reinforcement Learningbased Framework for Content Caching[ C] ∥ 52nd Annual Conference on Information Sciences and Systems.Princeton:CISS,2018:1-6.
[64] DULACARNOLD G,EVANS R,HASSELT H,et al.Deep Reinforcement Learning in Large Discrete Action Spaces[ J / OL].(2016-4- 4). arXiv:1512.07679,2016. https:∥arxiv.org / abs / 1512.07679v2
[65] CHEN Z,GURSOY M,VELIPASALAR S.Deep Reinforce ment Learningbased Edge Caching in Wireless Networks[J]. IEEE Transactions on Cognitive Communications andNetworking,2020,6(1):48-61.
作者介紹：
喬德文 博士研究所學生。主要研究方向：邊緣計算、凸優化、機器學習等。
郭松濤 重慶大學計算機學院教授，博士生導師。主要研究方向：移動邊緣計算、聯邦學習、無線傳感器網絡和無線自組織網絡等。