邊緣 AI 開發者正在建構用于安全關鍵型和受監管用例的 AI 應用和産品。借助 NVIDIA Holoscan 1.0，這些應用可在幾毫秒内整合實時洞察和加工處理。
借助最新釋出的 NVIDIA® Holoscan 1.0，開發者可以更加輕松地建構用于多模态實時傳感器處理工作的生産就緒型應用。NVIDIA AI Enterprise 現為 Holoscan 軟體堆棧提供安全更新檔和關鍵漏洞修複，并保證 API 的穩定性，這不僅降低了産品維護成本，還簡化了邊緣 AI 應用的大規模部署。
什麼是 NVIDIA Holoscan？
Holoscan 是 NVIDIA 不限領域的多模态實時 AI 傳感器處理平台，它為開發者建構端到端傳感器處理管道奠定了基礎。該平台以性能、可用性和生産就緒性為架構目标，在優化傳感器處理工作流各環節性能的同時，最大程度地降低開發複雜性。該工作流包含：
- 傳感器資料入口
- 加速計算和 AI 推理
- 實時可視化、執行和資料流出口
圖 1. NVIDIA Holoscan 平台幫助開發者 從固定功能儀器過渡到軟體定義儀器
Holoscan 平台具體包含三個主要組成部分。第一個組成部分是軟體，該平台以資料移動、加速計算、實時可視化和 AI 推理為基礎，建立了不限領域的 AI 實時傳感器處理工作流。
NVIDIA Holoscan 是唯一能将這些功能整合在一起的單一平台。它不僅能夠保證應用性能，還能降低複雜性，并縮短産品上市時間。NVIDIA Holoscan SDK 為開發者提供了一個低代碼、高性能的環境，使開發者可以通過 Python 或 C++ API 使用自己選擇的程式設計語言建構工作流。
Holoscan 平台的第二個組成部分是硬體。Holoscan 支援多種硬體配置，可滿足不同的功率、尺寸、成本、計算和配置需求，包括：
- NVIDIA Jetson Orin 系列産品（Orin Nano、Orin NX 和 AGX Orin）
- NVIDIA IGX Orin
- NVIDIA IGX Orin 外加 NVIDIA 獨立 GPU，同時具備內建 GPU 和獨立 GPU 的功能
- 搭載 NVIDIA 獨立 GPU 的 x86 系統（工作站或雲）
Holoscan 平台的第三個組成部分是企業支援，專門用于滿足醫療技術産品釋出前和釋出後的需求。通過 NVIDIA AI Enterprise 提供的 Holoscan 軟體服務可獲得長期（長達 10 年）的全棧軟體支援。
該服務具體可向開發者釋出安全更新檔和關鍵漏洞修複，并保證 API 的穩定性，進而大大降低産品維護成本。這不僅簡化了操作，還讓開發者能夠更加放心地大規模部署 AI 應用。
圖 2. NVIDIA Holoscan 幫助加快産品上市時間
生産就緒性
AI 計算的引入為企業提供了一系列可能性，這些企業正在尋找新的方式來提供差異化和價值，同時更有效地利用資料。然而，AI 軟體堆棧非常複雜，影響因素達數百個，而且使用了大量第三方開放源碼軟體庫（圖 3）。
軟體複雜性的增加等同于脆弱性的增加。安全性、穩定性、可靠性和生産就緒性至關重要，但對于希望在其應用中利用這些軟體的開發者和企業來說卻極具挑戰性，對于醫療裝置、機器人等安全關鍵型和受監管的行業來說尤其如此。
圖 3. NVIDIA Holoscan 可提供 對于複雜 AI 軟體堆棧來說 至關重要的生産就緒性、安全性和穩定性
例如 2023 年，美國食品及藥品管理局（FDA）釋出了新的醫療裝置網絡安全指南，規定如果送出的上市前材料中未包含 FD&C 法案第 524B 條（確定裝置的網絡安全）所要求的資訊，則有可能被拒絕接受（RTA）。根據規定，制造商必須在産品上市後設計并釋出更新和更新檔，提供軟體物料清單（SBOM）并送出一份确認和解決“上市後網絡安全漏洞”的計劃。
這給該領域開發者和企業的 AI 平台建構與維護帶來了更大的挑戰：
- 維護安全的軟體堆棧需要大量資源。
- 在進行 CVE 掃描後需要進行評估和探索，以便采取進一步行動和措施。
- 軟體包安全更新可能需要對依賴的 API 進行後續更改，這可能會破壞向後相容性。
- 需要對整個堆棧進行持續監控和更新。
這意味着需要定期安裝安全更新檔和修複漏洞，并留給了企業兩個代價高昂的選擇：
- 向後移植更新檔和修複程式，以避免破壞堆棧和引發潛在的驗證、确認與重新認證需求。
- 向前滾動，但會面臨破壞産品功能和增加新錯誤的潛在風險，産生成本高昂的驗證、确認乃至重新認證周期。
生産就緒對 Holoscan 開發者的意義
Holoscan 平台為邊緣提供了一個用于實時處理多模态資料的加速全棧基礎設施。在過去的幾個版本中，Holoscan 平台的特性和功能主要集中在高性能計算、低延遲和高吞吐量多模态傳感器流式傳輸以及出色的可用性和更短的産品上市時間等方面。
在加入 NVIDIA AI Enterprise 後，Holoscan 1.0 增加了生産就緒性，能夠為開發者提供端到端全産品生命周期支援，它還能加速企業的 AI 創新過程，同時降低産品擁有和維護的總成本。
在 NVIDIA IGX 上建構産品
憑借全棧軟體支援（包括固件、作業系統、驅動程式、AI 架構、GPU 加速和 SDK），開發者可以通過單一的來源獲得全棧支援，同時還能確定 API 的長期穩定和軟體物料清單（SBOM）的統一。這一經過優化的服務可滿足邊緣客戶的各種需求，例如：
- CVE 更新檔和關鍵漏洞修複以及 API 的穩定性保證。
- 靈活的軟體分支，可選擇不同的期限（9 個月至 10 年）以滿足不同行業和不同産品開發階段的開發者需求。9 個月期限支援分支每 6 個月釋出一次，10 年期限支援分支每 2.5 年釋出一次。
- 為嵌入式開發者提供 Yocto 企業支援，這些開發者更喜歡使用基于 Yocto 的定制發行版來部署産品。
基于 Yocto 的發行版可實作最小的 SBOM，隻需最少的元件即可使裝置正常運作。它們不僅簡化了 FMEA、SW/SOUP 危險分析、網絡安全危險分析和滲透測試，降低了上市後維護的監管負擔和成本，還支援嵌入式硬體資源的高效利用，包括存儲、記憶體、處理能力和電能等。
關于 Holoscan Yocto 為邊緣部署提供優化的發行版的更多資訊，請參見利用 NVIDIA Clara Holoscan 部署 AI 加速醫療裝置：
圖 4. 使用 Holoscan 将應用從開發推向部署
在 x86 系統上進行開發、測試或部署
開發者可以在 x86 系統上使用部分堆棧支援（不包括作業系統）。更多資訊請參見 NVIDIA 認證系統。通過在 x86 和 IGX 上保持相同分支軟體堆棧的一緻性，就能最大程度地減少從開發到部署的障礙。為此，請在用于開發和部署的各個 x86 平台上保持一緻性，以便進行測試、驗證和部署。
總結
NVIDIA Holoscan 與工業級 NVIDIA IGX Orin平台和 NVIDIA AI Enterprise 協同，為企業減輕了驗證和維護邊緣平台的負擔。它使團隊能夠專注于建構 AI、與不斷壯大的第一方和第三方開發者生态系統聯合開發平台，以及快速提升業務價值。
尤其是用于醫療級生産的 IGX 服務現已認證多家 ODM 合作夥伴提供，包括但不限于：
- Advantech MIC-735M-IO
- ADLINK MLB-IGX
- Onyx Healthcare ACCEL-JS2000
- Dedicated Computing M1000
如要開始使用，請下載下傳Holoscan 1.0 并檢視版本說明：
您可在 NVIDIA 開發者論壇上提問并分享資訊：
您可以線上上回顧 NVIDIA GTC 2024，進一步了解 NVIDIA Holoscan 以及 AI 傳感器流式傳輸應用的最新進展：