打破孤島：建構從邊到雲的AI 基礎設施

邊緣計算、雲和 AI 已經在各自發揮作用。但未來的成功離不開三者的結合，以此建構基于 AI 的基礎設施，形成資料良性循環。本文詳解了其中的三大要素——邊緣裝置、邊緣基礎設施和雲，并以大量真實案例加以闡釋，以及英特爾® 産品和技術在其中的作用。最後，文章還提出了整合 AI 環境的方法，指導您建構從邊緣到雲的 AI 基礎設施。

簡介

随着業務營運速度不斷加快，客戶期望持續提升，對許多企業和機構而言，越來越多的決策必須從總部下放到其他位置。無論是在工廠中的房間現場與客戶打交道，還是在繁忙的生産線上工作，每個員工都需要洞察和資訊來實時做出重要決策。有時，這些決策可能需要完全自動化完成。

越來越多的決策正在基于邊緣生成的資料。事實上，邊緣采集的資料量十分龐大。Gartner 預測，到 2025 年，将有多達 75% 的企業資料會在傳統資料中心以外生成1。将計算能力安排在更靠近資料産生的位置可以實作新的實時用例，甚至可以從敏感資料中創造新的收入來源。

實作這一目标離不開三種技術的有效結合：邊緣計算、雲和人工智能 (AI)。雖然這三種技術分别都能帶來價值，但如果企業可以做到在整個基礎設施中整合這些技術并實作全方位從邊緣到雲的智能，則更有可能取得成功。這就像一個良性循環。邊緣越來越多的裝置和算力将生成更多資料，進而支援更複雜的人工智能用例。反過來，這又将産生更多洞察，這些洞察可以通過雲傳輸到整個企業和機構，并用于進一步優化未來的資料收集和分析。

從邊緣到雲的人工智能：定義

• 邊緣：邊緣計算是指将傳輸、存儲和處理資料的資源安排在更靠近資料源或服務傳遞點的位置。這樣一來，企業可以減少時延，改善體驗，優化總體擁有成本，符合資料局部性要求并獲得可以指導行動的洞察。

• 雲：通過雲計算，您可以在資料中心或通過公有雲服務提供商遠端通路計算、存儲和網絡資源。

• 人工智能：人工智能包含一系列廣泛的、旨在模拟人類能力（如感覺、邏輯、學習能力等）的計算機科學。結合使用不同的人工智能技術（如深度學習和強化學習）以推動一般化的智能發展是該領域目前的一個新興趨勢。

邊緣包括所有遙遠的服務核心（即資料中心或雲）以外的資料收集、處理、存儲和通信。在本文中，我們将廣義的邊緣概念分為兩部分：

• 邊緣裝置：生成或使用資料的單一使用者資産，如無人機、可穿戴裝置、智能手機、智能音箱、工業傳感器、智能攝像頭等。

• 邊緣基礎設施：從不同來源提取多個資料流的裝置，比如網絡錄像機、網關、本地伺服器、超融合邊緣基礎設施（或“一體式資料中心”）等。

本文将探索企業和機構從邊緣到雲的人工智能之旅，探讨人工智能的運用方法與場景，以及背後的技術支援。

雲端人工智能用例

如果說邊緣人工智能提供的是微觀層面的洞察，那麼在雲端運作人工智則能使企業和機構在宏觀層面建立更加深度的智能。通過使用雲，他們可以運用更大的資料集，這些資料往往來自基礎設施中的多個站點或外部來源。随着時間推移，就能對趨勢和規律形成全面透徹的認識。

雲端人工智能用例示例：語言識别

語音和文本識别（即自然語言處理）可支援多種用例，比如為客戶提供服務的自動聊天機器人，或者為客服中心員工提供實時支援。語音識别軟體提供商科大訊飛為衆多行業提供基于語音的雲解決方案。

邊緣人工智能用例

如今，邊緣人工智能是推動許多行業衆多創新轉型用例的關鍵助力。

邊緣裝置人工智能用例示例：零售業

通過為商店内的裝置內建人工智能功能，零售商可以增強顧客體驗，更高效地利用空間并加強庫存管理。機器視覺能夠讀取編碼、文本和數字，進而幫助管理、追蹤和分析庫存水準，確定有需要的人員能夠掌握關鍵資料。互聯、智能的響應式數字标牌可以根據顧客行為與喜好為顧客推薦優惠或産品，并幫助零售商了解他們傳遞的訊息何時真正起到了作用。自助服務設施 (英文)，乃至完全自動化的無人商店可為顧客提供一系列服務，進而幫助打造個性化、零接觸的順暢零售體驗。與此同時，機器學習可以分析以流媒體方式傳輸到本地邊緣網關的購物者視訊片段，幫助實時識别潛在犯罪行為。

邊緣基礎設施人工智能用例示例：醫療

在醫療領域，人工智能有許多潛在用途，醫療影像就是其中頗受歡迎的一種。每天會産生成千上萬的醫療影像，如 CT 掃描、X 光和 MRI，每個影像都需要仔細分析來發現其中異常，實作準确診斷。通過在采集點實施深度學習功能，飛利浦已經能夠将 CT 掃描成像速度提高 188 倍2，幫助臨床醫生更快地診斷和治療患者。

從邊緣到雲的人工智能基礎設施基本要素

如今，許多企業和機構已經開始利用人工智能，但通常是以相對零散的方式加以利用。個别的項目固然可以帶來寶貴成果，大大提高業務價值。然而，采取進一步行動，在整個企業和機構層面實作端到端的人工智能則可以顯著加速并擴充這些優勢，還能帶來一系列新機遇。

在整個企業内廣泛實施人工智能時，務必要確定基礎設施的三大要素——邊緣裝置、邊緣基礎設施和雲——均有能力支援人工智能。這些能力具體包括：

• 高性能：人工智能工作負載往往計算密集度高，是以在進行人工智能訓練或推理的地方，必須具備強大的計算性能。

• 低延遲時間：人工智能的一個優勢在于能夠支援實時決策。通過将部分人工智能工作負載遷移到邊緣，可以降低計算、存儲和網絡的時延。

• 高容量：人工智能依賴大量資料，是以，確定計算、存儲和記憶體容量能夠勝任這項任務，就可以避免運作人工智能的基礎設施遇到瓶頸。

• 可靠的安全性：人工智能工作負載不僅需要大量資料，而且這些資料往往較為敏感（例如，醫療或公共安全行業的資料）。無論是何種人工智能工作負載，運作所用的裝置和軟體必須安全可靠。

英特爾提供的技術和解決方案使企業和機構能夠支援從邊緣到雲的人工智能工作負載，同時滿足這些總體要求（見圖 1）。面向人工智能的英特爾® 邊緣技術解決方案能夠在各類裝置上實作高性能推理，包括本地伺服器、PC、攝像頭、機器人和無人機等。我們的 CPU、VPU 和 FPGA 産品組合已針對低延遲時間推理進行調優，利用全新的網絡、記憶體和存儲技術幫助突破資料瓶頸。

邊緣裝置

邊緣裝置通常較小（例如，智能手表或智能攝像頭），幾乎沒有空間容納又大又重的元件。而且它們通常需要依靠有限的電源供電運作，這意味着所有硬體必須要高效利用空間和電能。但是，為了在這些裝置上支援人工智能工作負載，它們還必須提供高性能

雖然邊緣裝置可以且經常完全獨立運作，并主要執行人工智能推理工作負載，但在有些用例中，将多個邊緣裝置連接配接起來，實作聯邦學習，進而進行人工智能訓練将更有裨益。這樣一來，邊緣裝置可合作學習一個共享的預測模型，同時所有訓練資料都在裝置上，就不必将所有學習資料存儲在雲端。這也能在人工智能模型的訓練中發揮作用，因為裝置會下載下傳新模型，基于裝置上的資料學習，然後在一個小型集中的更新中回報變更。随後，該更新可以加密發送到雲端，并在雲端幫助改進共享的模型。借助這種聯邦學習的方法，所有資料均可保留在裝置本地，進而幫助確定資料安全性。

用例示例：機器人原型幫助抗擊新冠疫情

在美國，機器人使用紫外線 (UV) 幫助對醫院表面進行消毒 (英文)。紫外線能夠有效殺死病毒，但也會對人類造成傷害。機器人利用人工智能在醫院導航，先檢查所在空間沒人，再發射出紫外線，快速全面地對大空間進行消毒。這有助于確定整個醫院的安全，同時盡量保持繁忙區域開放，以供使用。

這種機器人采用了英特爾® Movidius™ VPU，一款專為計算機視覺和深度學習推理打造的人工智能加速器。該加速器将計算機視覺、攝像頭圖像處理和人工智能深度學習推理內建到了一個獨立的片上系統 (SoC) 中。這意味着，它可以作為邊緣裝置獨立部署，直接在裝置上實作強大的識别和計算機視覺分析功能。而當它與主機 CPU 共同部署在邊緣或雲端時，英特爾® Movidius™ VPU 還能提供強大的深度學習加速。對于可以實時檢視、處理視訊資訊并對資訊進行編目的網絡錄像機等應用而言，這可以幫助加快媒體處理與圖像分析。

用例示例：計算機視覺助力自動車牌識别

智能攝像頭能夠帶來巨大價值，可幫助自動執行重複性的日常任務，進而解放員工，使他們專注于解決更複雜的挑戰。由英特爾® AI Builders 成員 Wahtari (英文) 開發的基于人工智能的車牌識别解決方案就是一個典型範例。攝像頭在英特爾® Movidius™ VPU 和英特爾淩動® 處理器上運作。其低功耗和高性能的特性意味着攝像頭不僅高效節能，還具備在邊緣運作複雜的人工智能工作負載所需的計算能力。英特爾淩動® 處理器支援高分辨率超高清 4K 和高幀率 (FPS) 多媒體流處理。當與英特爾® Movidius™ VPU 這樣的加速器結合使用時，英特爾淩動® 處理器也可為深度學習工作負載提供低功耗且經濟高效的支援。最終，Wahtari nLab 人工智能訓練平台能夠以每秒 45 幀的速率提供人工智能推理，每小時可檢測超過 7,000 個車牌。

Wahtari 解決方案的建構使用了英特爾® 分發版 OpenVINO™ 工具包。該工具包基于卷積神經網絡 (CNN)，支援開發和加速可模拟人類視覺并在各種英特爾® 硬體上運作的應用。

邊緣基礎設施

如果硬體以邊緣叢集或網絡伺服器等形式支援更全面或複雜的邊緣計算，它們所依賴的元件性能往往高于獨立邊緣裝置。為了支援其指定用例，它們也可能根據需要使用安全或連接配接功能。英特爾® 邊緣技術解決方案提供靈活性，無論是從零開始還是在現有基礎上開發，都可無縫添加對邊緣人工智能的支援。

用例示例：計算機視覺幫助保障公共安全

計算機視覺和人工智能可以幫助政府和運輸公司等大型企業和機構確定公共安全與便利。例如，工程和設計公司 Klas Telecom (英文) 為鐵路行業開發了一款基于計算機視覺的解決方案，支援十字路口的行人與車輛檢測，車上空位檢測以及入侵者檢測。這有助于維護公共安全與安防，同時使員工專注于最需要他們關注的問題或風險。

Klas Telecom 解決方案使用了第十代英特爾® 酷睿™ i7 處理器。該處理器提供高性能，可運作複雜的邊緣人工智能工作負載，同時保持高能效。其深度學習算法的建構也使用了英特爾® 分發版 OpenVINO™ 工具包，利用通用 API，幫助在異構英特爾® 架構中加速從邊緣到雲的人工智能工作負載。

用例示例：邊緣機器學習幫助提高産品品質

在制造業和工業領域，邊緣計算蘊含巨大潛力。奧迪的内卡蘇爾姆工廠每天要組裝多達 1,000 輛汽車，每輛汽車大約有 5,000 個焊點。如果每天都要人工檢測上百萬個焊點，不僅成本高昂，耗時耗力，也不太現實。奧迪制定了目标，希望以超高精度實作焊點全檢。為實作這一目标，奧迪使用機器學習算法、英特爾® 工業邊緣洞見軟體包和 Nebbiolo 邊緣平台簡化資料分析。最後，開發出的解決方案可基于焊槍控制器資料實作自動檢驗。奧迪成功将人工成本降低 30%-50%，讓員工有更多時間從事公司内其他更有價值的工作。最終，工廠以 18 毫秒的單次焊接檢測時延水準将焊接檢測效率提高了 100 倍。

該解決方案由內建英特爾® 深度學習加速技術的全新第三代英特爾® 至強® 可擴充處理器提供支援，該處理器能夠為人工智能工作負載提供內建的性能加速，為靈活、可靠且可擴充的邊緣奠定基礎。

用例示例：計算機視覺為精細的環保工作提供支援

一些瀕危動物的栖息地環保人員難以進入，而智能攝像頭和視訊分析則有望幫助監控與保護這些栖息地。例如，監控珊瑚礁通常需要潛水員直接下水收集資料，或手動拍攝珊瑚礁的視訊或圖像，供日後分析。這些方法雖然可靠，但潛水員可能會幹擾野生動物行為，無意中影響研究結果。此外，資料采集也很有限，因為潛水員一次隻能在水下安全停留大約 30 分鐘。菲律賓的 CoRaiL 項目利用智能攝像頭和視訊分析來研究珊瑚礁的韌性 (英文)，解決了這些問題。

攝像頭采集的資料在埃森哲的視訊分析服務平台上進行分析，該平台由英特爾® 至強® 可擴充處理器和英特爾® Movidius™ VPU 提供支援，并采用通過英特爾® 分發版 OpenVINO™ 工具包開發的算法。此外，該解決方案還使用了英特爾® 現場可程式設計門陣列（英特爾® FPGA）進一步加速其人工智能工作負載。這些元件猶如可修改的空白畫布，可以多次調整，進而滿足不同目的。這在邊緣人工智能等高吞吐量、低延遲時間應用中尤為寶貴。

用例示例：語義資料湖和人工智能推動主動治療

人工智能的繁榮發展要依靠大型資料集。醫療行業會産生許多大型資料集。每天，醫學影像和基因組測試等都會生成海量資料。位于紐約布朗克斯區的蒙特菲爾醫療中心 (英文) 建構了一個語義資料湖架構來容納其所有資料。該結構将蒙特菲爾的資料存儲與各個本體資料庫相結合，定義了超過 250 萬條術語以及術語之間的關系。如此一來，運作分析時，不同來源、不同格式的資料都會被考慮在内。

這個解決方案叫做“以患者為中心的資料分析機器學習 (PALM) 平台”，基于英特爾® 至強® 可擴充處理器和英特爾® 傲騰™ 固态盤（英特爾® 傲騰™ SSD）運作。這些裝置旨在幫助打破記憶體和存儲瓶頸，可以實時提取群組織邊緣資料，并将邊緣資料分發到人工智能管道。這些裝置可以經配置用作高速存儲，也可以用于擴充系統記憶體，這意味着該系統有能力成為語義資料湖的動力源。

蒙特菲爾首先在 PALM 平台上運作了一個幫助在醫院裡識别存在高呼吸衰竭或死亡風險患者的機器學習模型。下一步，蒙特菲爾計劃将更多預測性人工智能用例應用于該平台，包括将患者更高效地分流至對應診治區域、預測會浪費寶貴醫療資源的預約未到情況、以及預測和配置設定醫院床位，進而更有效地接待患者，縮短住院時間。

面向開發人員的邊緣就緒型人工智能工具包

分布式邊緣解決方案十分複雜，開發難度非常高。英特爾緻力于推動開放标準并支援容器化和雲原生開發，進而幫助開發人員簡化他們的工作流程并加快部署分布式邊緣解決方案。

我們的全棧式優化軟體基于開放标準和接口建構而成。例如，英特爾® 分發版 OpenVINO™ 工具包可支援深度學習應用的開發，這些應用對于邊緣計算機視覺用例必不可少，而英特爾® 分發版 Python 則可幫助在英特爾® 平台上為機器學習提供高速應用性能。

對 TensorFlow、Keras、PyTorch、oneDNN 和 BigDL 等常見的庫和架構的支援則可面向一系列人工智能工作負載實作快速應用開發。例如，英特爾® AI Builders 成員 Taboola 就使用 TensorFlow Serving (TFS)[1] 架構建構了定制推了解決方案。Taboola 與英特爾合作，在英特爾® 至強® 可擴充處理器上使用面向深度神經網絡的英特爾® 數學核心函數庫（英特爾® MKL-DNN），成功優化并顯著加速了其定制 TensorFlow Serving 應用。

雲

雖然人工智能在邊緣的用例越來越多，但雲端仍将繼續發揮重要作用。例如，人工智能模型可能要在雲端訓練，才能通路更多和/或更大型的資料集，并且利用更大的算力池。訓練完畢後，這些模型可以推廣到邊緣伺服器或單個裝置，進而在生成或收集新資料時對新資料進行推理。

同時，邊緣的重點資料也可以傳回到雲端。通過把來自多個邊緣位置的資料整理到雲端的集中位置，企業和機構可以建立豐富的資料資源，進而掌握對整個基礎設施運作的可見度。針對這些資料運作人工智能可幫助識别和預測更宏觀的趨勢，或提供更深層次的商業洞察。

用例示例：人工智能幫助擴充中繼資料管理和搜尋

記錄所有資料進而讓資料可搜尋、可管理且可擴充是許多行業的企業共同面臨的挑戰。全球 IT 服務提供商 phoenixNAP 提供了一項服務，使用人工智能來幫助其客戶跨多雲環境更高效地存儲、搜尋和分析資料與中繼資料。

現在，phoenixNAP 的客戶可以将其資料存儲在橫向擴充的對象存儲，而非記憶體，并在英特爾® 傲騰™ 持久記憶體（随英特爾® 至強® 可擴充處理器一起提供）中緩存熱資料，進而加速性能。英特爾® 傲騰™ 持久記憶體為邊緣伺服器提供多達 3 倍的每節點存儲容量，同時還可大幅降低資料時延3。在 phoenixNAP 的案例中，與将解決方案托管在超大規模雲環境中相比，該技術幫助将時延降低了 80%，索引速度提升高達 3 倍4。

英特爾® 技術和人工智能：共同發展

全新第三代英特爾® 至強® 可擴充處理器改進了英特爾的四路到八路處理器基礎，為深度學習等融合了人工智能技術的資料密集型雲服務提供額外支援。第三代英特爾® 至強® 可擴充處理器中，英特爾® 深度學習加速技術的發展使其率先成為提供內建 bfloat16 指令的一款通用伺服器 CPU。對于圖像分類、語音識别和語言模組化等應用，這将擴大主流人工智能訓練的可部署範圍。此外，在八路配置中，英特爾® 傲騰™ 持久記憶體 200 系列支援多達 36 TB 的記憶體，幫助在醫療或地震成像等大型高價值資料結構上加速人工智能推理。

整合人工智能環境的方法

對于任何人工智能計劃，站在戰略高度去進行從邊緣到雲的開發都至關重要。與客戶合作時，我們建議遵循以下 4 大步驟：

• 建立堅實的基礎：各利益相關方應協同一緻，緻力于實作應對實際業務需求的共同目标。無論您計劃在哪裡部署，確定您所提出的人工智能用例具備強有力的商業邏輯。

• 整理并列出您的資料管道：確定資料戰略和人工智能需求是相一緻的。清楚了解您需要哪些資料，以及這些資料将來自哪裡。制定計劃，確定在正确的位置和時間提取、存儲、處理和分析所有資料。

• 開發您的人工智能模型：您可以利用大量現成的工具包、庫、架構和軟體優化來簡化該流程。

• 部署您的人工智能工作負載：正确組合經優化的硬體、網絡和應用進行部署。

以下電子指南詳細介紹了這些步驟以及應對各個階段工作的建議：輕松開啟人工智能之旅

安全性

随着 IT 環境不斷發展且日益複雜，保護 IT 環境既是當務之急，也将成為未來的重中之重。敏感資料和工作負載無論部署在基礎設施的什麼位置、在哪兒傳輸或使用，必須始終受到保護。這意味着您需要確定資料中心和邊緣裝置能為本地工作負載提供內建的強大安全性，同時，在混合雲環境中，雲服務提供商 (CSP) 也要能夠達到此類要求。此外，還要讓最終使用者盡可能察覺不到這些保護措施。每位員工應該能夠在各自選擇的裝置上通路和使用所需資料，工作效率不受影響。

英特爾與業内的主要安全公司、CSP 和獨立軟體供應商 (ISV) 密切合作，開發深入晶片級别且支援整個從邊緣到雲的基礎設施 (英文) 的定制安全解決方案。我們的安全技術符合現行标準和基準測試，比如由美國國家标準與技術研究院 (NIST) 制定的标準。

其中，關鍵的英特爾® 安全技術包括：

• 英特爾® 軟體防護擴充（英特爾® SGX）(英文)：英特爾® SGX 是一組指令，能夠加強對使用中的應用代碼和資料的保護。應用開發人員可以使用該組指令在 CPU 記憶體中建立可信執行飛地 (TEE)。隻有在 TEE 内部，資料和代碼才不加密，并由通過密碼獲得許可的應用進行處理。在釋出之前，還要再次加密。TEE 與作業系統、虛拟機管理程式和 BIOS 伺服器等其餘環境互相隔離，這有助于防止任何人通路飛地内的資料和代碼，無論是應用開發人員、系統管理人員、伺服器所有者還是 CSP，均無法通路。

• 英特爾® 控制流強制技術（英特爾® CET）(英文)：英特爾® CET 提供 CPU 級别的安全功能，幫助防禦常見惡意軟體攻擊方法。要想緩解這些攻擊，單靠軟體是難以實作的。許多惡意軟體廣泛使用的攻擊手段是通過控制流劫持攻擊濫用的合法代碼，這正是這項技術主要解決的問題。英特爾® CET 為軟體開發人員提供兩個關鍵功能，幫助防禦控制流劫持惡意軟體。間接分支跟蹤提供間接分支保護，幫助防禦面向跳轉或呼叫的程式設計 (JOP/COP) 攻擊方法。影子堆棧提供傳回位址保護，幫助防禦面向傳回的程式設計 (ROP) 攻擊方法。

• 英特爾® 全記憶體加密（英特爾® TME）(英文)：英特爾® TME 對全系統記憶體 (DRAM) 進行加密，進而加強對中介層攻擊、噴灑冷凍劑、DIMM 移除等實體攻擊的防禦。該技術通過 CPU 提供的單個密鑰，在系統 BIOS 内直接啟用，隻需消耗少量記憶體性能。英特爾® TME 使用 AES-XTS（一個基于 NIST 标準的“存儲類”算法）來加密整個記憶體。在資料寫入平台記憶體之前就先行加密，再在讀取時解密，這樣就可以對軟體保持透明。該技術易于實施，不需要借助作業系統 (OS) 或應用的支援。

加速實作從邊緣到雲的人工智能

從建構商、內建商、雲和網絡提供商到開發人員，在整個邊緣價值鍊中，英特爾深耕數十年，積累了豐富經驗。我們確定用例一緻，解決了常見的內建難題，并依托不斷優化和創新的成熟開發人員生态系統提供數百個預配置軟體包。利用該生态系統可縮短開發時間，更快地獲得成果：

• 可立即部署的企業人工智能解決方案：英特爾® AI Builders (英文) 為成員提供超過 300 個全球主要人工智能軟體、硬體和服務提供商以及 150 多個解決方案資源，其中涉及各種用例和各個市場，使所有企業都能快速采用人工智能。

• 確定高水準的人工智能部署：面向人工智能的英特爾® 精選解決方案 (英文) 利用已在英特爾® 至強® 處理器上進行優化并通過了嚴格的基準測試和驗證的解決方案，幫助您簡化和加快基礎設施部署。

• 減少開發和協作挑戰：英特爾® AI：in Production 利用英特爾® 技術、軟體工具、開發套件、代碼樣本和我們生态系統的解決方案，幫助加快人工智能走向生産之路。

更多資訊

• 解決方案簡介：面向在 Apache Spark 上運作的 BigDL 的英特爾® 精選解決方案 (英文)

• 解決方案簡介：面向人工智能推理的英特爾® 精選解決方案

• 網頁：www.intel.cn/ai

• 網頁：人工智能成功案例

• 網頁：www.intel.cn/cloud