NVIDIA TAO Toolkit 提供了一個低代碼人工智能架構，用于加速視覺人工智能模型開發，适用于從新手到專家資料科學家的所有技能水準。借助 NVIDIA TAO （訓練、适應、優化）工具包，開發人員可以利用遷移學習的力量和效率，通過适應和優化，在創紀錄的時間内實作最先進的精度和生産級吞吐量。
在 NVIDIA GTC 2023 上， NVIDIA 釋出了 NVIDIA TAO Toolkit5.0 ，帶來了突破性的功能來增強任何人工智能模型的開發。新功能包括開源架構、基于 transformer 的預訓練模型、人工智能輔助的資料注釋，以及在任何平台上部署模型的能力。
圖 1 ：NVIDIA TAO Toolkit 工作流程圖
NVIDIA TAO Toolkit 5.0 支援 ONNX 中的模型導出。這使得在邊緣或雲中的任何計算平台 GPU 、 CPU 、 MCU 、 DLA 、 FPGA 上部署使用 NVIDIA TAO Toolkit 訓練的模型成為可能。NVIDIA TAO 工具包簡化了模型訓練過程，優化了模型的推理吞吐量，為數千億台裝置的人工智能提供了動力。
圖 2: NVIDIA TAO Toolkit 體系結構
嵌入式微控制器的全球上司者 STMicroelectronics 将 NVIDIA TAO 工具包內建到其 STM32Cube AI 開發人員工作流程中。這使 STMicroelectronics 的數百萬開發人員掌握了最新的人工智能功能。它首次提供了将複雜的人工智能內建到 STM32Cube 提供的廣泛物聯網和邊緣用例中的能力。
現在有了 NVIDIA TAO 工具包，即使是最新手的人工智能開發人員也可以在微控制器的計算和記憶體預算内優化和量化人工智能模型，使其在 STM32 MCU 上運作。開發人員還可以帶來自己的模型，并使用 TAO Toolkit 進行微調。STMicroelectronics 在下面的示範中捕捉到了有關這項工作的更多資訊。
，時長08:40視訊 1 ：了解如何在 STM 微控制器上部署使用 TAO Toolkit 優化的模型
雖然 TAO Toolkit 模型可以在任何平台上運作，但這些模型在使用 TensorRT 進行推理的 NVIDIA GPU 上實作了最高吞吐量。在 CPU 上，這些模型使用 ONNX-RT 進行推理。一旦軟體可用，将提供複制這些數字的腳本和配方。
表 1 ：幾種 NVIDIA TAO Toolkit 視覺模型的性能比較（以 FPS 為機關），包括 NVIDIA GPU 上的新視覺轉換器模型
人工智能輔助的資料注釋和管理
對于所有人工智能項目來說，資料注釋仍然是一個昂貴且耗時的過程。對于像分割這樣需要在對象周圍的像素級生成分割遮罩的 CV 任務來說尤其如此。通常，分割掩模的成本是對象檢測或分類的 10 倍。
使用 TAO Toolkit 5.0 ，使用新的人工智能輔助注釋功能對分割掩碼進行注釋，速度更快，成本更低。現在，您可以使用弱監督分割架構 Mask Auto Labeler （ MAL ）來幫助進行分割注釋，以及固定和收緊用于對象檢測的邊界框。地面實況資料中對象周圍的松散邊界框可能會導緻次優檢測結果，但通過人工智能輔助注釋，您可以将邊界框收緊到對象上，進而獲得更準确的模型。
圖 3 ：NVIDIA TAO Toolkit 自動标記工作流程
MAL 是一個基于 transformer 的掩碼自動标記架構，用于僅使用方框注釋的執行個體分割。MAL 将方框裁剪圖像作為輸入，并有條件地生成掩碼僞标簽。它對輸入和輸出标簽都使用了 COCO 注釋格式。
MAL 顯著減少了自動标注和人工标注之間的差距，以獲得遮罩品質。使用 MAL 生成的掩碼訓練的執行個體分割模型可以幾乎比對完全監督的對應模型的性能，保留了高達 97.4% 的完全監督模型的性能。
圖 4 ：Mask Auto Labeler （ MAL ）網絡架構
在訓練 MAL 網絡時，任務網絡和教師網絡（共享相同的 transformer 結構）一起工作，以實作類不可知的自我訓練。這使得能夠細化具有條件随機場（ CRF ）損失和多執行個體學習（ MIL ）損失的預測掩碼。
TAO Toolkit 在自動标記管道和資料擴充管道中都使用了 MAL 。具體而言，使用者可以在空間增強的圖像上生成僞掩模（例如，剪切或旋轉），并使用生成的掩模細化和收緊相應的邊界框。
最先進的願景 transformer
transformer 已經成為 NLP 中的标準架構，這主要是因為自我關注。它們還因一系列視覺人工智能任務而廣受歡迎。一般來說，基于 transformer 的模型可以優于傳統的基于 CNN 的模型，因為它們具有魯棒性、可推廣性和對大規模輸入執行并行處理的能力。所有這些都提高了訓練效率，對圖像損壞和噪聲提供了更好的魯棒性，并在看不見的對象上更好地泛化。
TAO Toolkit 5.0 為流行的 CV 任務提供了幾種最先進的（ SOTA ）願景 transformer ，具體如下。
全注意力網絡
全注意力網絡（ FAN ）是 NVIDIA Research 的一個基于 transformer 的主幹家族，它在抵禦各種破壞方面實作了 SOTA 的魯棒性。這類主幹可以很容易地推廣到新的領域，并且對噪聲、模糊等更具魯棒性。
FAN 塊背後的一個關鍵設計是注意力通道處理子產品，它可以實作穩健的表征學習。FAN 可以用于圖像分類任務以及諸如對象檢測和分割之類的下遊任務。
圖 5 ：與 FAN Small （右）相比， ResNet50 （中）損壞圖像的激活熱圖
FAN 系列支援四個主幹，如表 2 所示。
表 2 ：具有尺寸和精度的風扇背闆
全球環境願景 transformer
全局上下文視覺 transformer （ GC ViT ）是 NVIDIA Research 的一種新架構，可實作非常高的準确性和計算效率。GC ViT 解決了視覺中缺乏誘導性偏倚的問題 transformer 。通過使用局部自注意，它在 ImageNet 上使用較少的參數獲得了更好的結果。
局部自我注意與全局上下文自我注意相結合，可以有效地模拟長距離和短距離的空間互動。圖 6 顯示了 GC ViT 模型體系結構。有關更多詳細資訊，請參見 Global Context Vision Transformers 。
圖 6 ：GC ViT 模型架構
如表 3 所示， GC ViT 家族包含六個主幹，從 GC ViT xxTiny （計算效率高）到 GC ViT Large （非常準确）。GC ViT 大型模型在 ImageNet-1K 資料集上可以實作 85.6 的 Top-1 精度，用于圖像分類任務。該體系結構還可以用作其他 CV 任務的主幹，如對象檢測、語義和執行個體分割。
表 3 ：具有尺寸和精度的 GC ViT 骨幹
DINO
DINO （ d 檢測 transformer ，帶有 i 改進的 n oising anch o r ）是最新一代 de 檢測 tr 編碼器（ DETR ）。它實作了比前代更快的訓練收斂時間。可變形 DETR （ D-DETR ）至少需要 50 個曆元才能收斂，而 DINO 可以在 COCO dataset 上收斂 12 個曆元。與 D-DETR 相比，它還實作了更高的精度。
DINO 通過在訓練過程中使用去噪來實作更快的收斂，這有助于在提案生成階段進行二分比對過程。由于二分比對的不穩定性，類 DETR 模型的訓練收斂較慢。二部分比對消除了手工制作和計算量大的 NMS 操作的需要。然而，它通常需要更多的訓練，因為在二分比對過程中，不正确的基本事實與預測相比對。
為了解決這個問題， DINO 引入了有噪聲的正地面實況盒和負地面實況盒來處理“無對象”場景。是以， DINO 的訓練收斂得非常快。有關更多資訊，請參閱 DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection 。
圖 7 ：DINO 建築
TAO Toolkit 中的 DINO 是靈活的，可以與傳統細胞神經網絡的各種骨幹（如 ResNets ）和基于 transformer 的骨幹（如 FAN 和 GC ViT ）相結合。表 4 顯示了流行 YOLOv7 的各種版本的 DINO 上的 COCO 資料集的準确性。有關更多詳細資訊，請參見 YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors 。
表 4 ：COCO 資料集上的 DINO 和 D-DETR 準确性
分段窗體
SegFormer 是一種基于 transformer 的輕量級語義分割。解碼器由輕量級 MLP 層制成。它避免了使用位置編碼（主要由 transformer s 使用），這使得推理在不同分辨率下高效。
将 FAN 骨幹網添加到 SegFormer MLP 解碼器中會産生一個高度魯棒和高效的語義分割模型。FAN-based hybrid + SegFormer 是 Robust Vision Challenge 2022 語義分割的獲勝架構。
[版本x88]
【VZX89】
目标檢測和分割之外的 CV 任務
NVIDIA TAO 工具包加速了傳統對象檢測和分割之外的各種 CV 任務。TAO Toolkit 5.0 中新的字元檢測和識别模型使開發人員能夠從圖像和文檔中提取文本。這自動化了文檔轉換，并加速了保險和金融等行業的用例。
當被分類的對象變化很大時，檢測圖像中的異常是有用的，這樣就不可能用所有的變化進行訓練。例如，在工業檢測中，缺陷可以是任何形式的。如果訓練資料之前沒有發現缺陷，那麼使用簡單的分類器可能會導緻許多遺漏的缺陷。
對于這樣的用例，将測試對象直接與黃金參考進行比較将獲得更好的準确性。TAO Toolkit 5.0 的特點是暹羅神經網絡，在該網絡中，模型計算被測對象和黃金參考之間的差異，以便在對象有缺陷時進行分類。
使用 AutoML 實作超參數優化的自動化教育訓練
自動機器學習（ autoML ）自動化了在給定資料集上為所需 KPI 尋找最佳模型和超參數的手動任務。它可以通過算法推導出最佳模型，并抽象掉人工智能模型建立和優化的大部分複雜性。
TAO Toolkit 中的 AutoML 可完全配置，用于自動優化模型的超參數。它既适合人工智能專家，也适合非專家。對于非專家來說，引導 Jupyter notebook 提供了一種簡單有效的方法來建立準确的人工智能模型。
對于專家來說， TAO Toolkit 可以讓您完全控制要調整的超參數和要用于掃描的算法。TAO Toolkit 目前支援兩種優化算法：貝葉斯優化和雙曲線優化。這些算法可以掃描一系列超參數，以找到給定資料集的最佳組合。
AutoML 支援多種 CV 任務，包括一些新的視覺 transformer ，如 DINO 、 D-DETR 、 SegFormer 等。表 6 顯示了受支援網絡的完整清單（粗體項目是 TAO Toolkit 5.0 的新增項目）。
表 6 ：TAO Toolkit 中 AutoML 支援的模型，包括幾個新的視覺轉換器模型（粗體項目是 TAO Toolkit5.0 的新項目）
用于工作流內建的 REST API
TAO Toolkit 是子產品化的、雲原生的，這意味着它可以作為容器使用，并且可以使用 Kubernetes 進行部署和管理。TAO Toolkit 可以作為自管理服務部署在任何公共或私有雲、 DGX 或工作站上。TAO Toolkit 提供了定義良好的 RESTAPI ，使其易于內建到您的開發工作流程中。開發人員可以為所有的訓練和優化任務調用 API 端點。這些 API 端點可以從任何應用程式或使用者界面調用，這可以遠端觸發教育訓練作業。
圖 9 ：用于雲原生部署的 TAO Toolkit 架構
Better inference optimization
為了簡化産品化并提高推理吞吐量， TAO Toolkit 提供了幾種交鑰匙性能優化技術。其中包括模型修剪、較低精度量化和 TensorRT 優化，與公共模型動物園的可比模型相比，這些技術可以将性能提高 4 到 8 倍。
圖 10 ：在各種 GPU 上優化的 TAO Toolkit 和公共模型之間的性能比較
開放靈活，具有更好的支撐
人工智能模型基于複雜的算法預測輸出。這可能會使人們很難了解系統是如何做出決定的，并且很難調試、診斷和修複錯誤。可解釋人工智能（ XAI ）旨在通過深入了解人工智能模型如何做出決策來應對這些挑戰。這有助于人類了解人工智能輸出背後的推理，并使診斷和修複錯誤變得更容易。這種透明度有助于建立對人工智能系統的信任。
為了提高透明度和可解釋性， TAO Toolkit 現在将以開源形式提供。開發人員将能夠從内部層檢視特征圖，并繪制激活熱圖，以更好地了解人工智能預測背後的推理。此外，通路源代碼将使開發人員能夠靈活地建立定制的人工智能，提高調試能力，并增加對其模型的信任。
NVIDIA TAO 工具包已準備就緒，可通過 NVIDIA AI Enterprise （ NVAIE ）獲得。NVAIE 為公司提供關鍵業務支援、通路 NVIDIA 人工智能專家以及優先級安全修複。Join NVAIE 獲得人工智能專家的支援。
與雲服務內建
NVIDIA TAO Toolkit 5.0 內建到您可能已經使用的各種 AI 服務中，如 Google Vertex AI 、 AzureML 、 Azure Kubernetes 服務和 Amazon EKS 。
圖 11 。TAO Toolkit 5.0 與各種人工智能服務內建
總結
TAO Toolkit 為任何開發人員、任何服務和任何裝置提供了一個平台，可以輕松地轉移學習他們的自定義模型，執行量化和修剪，管理複雜的訓練工作流程，并執行人工智能輔助注釋，而無需編碼。在 GTC 2023 上， NVIDIA 宣布了 TAO Toolkit 5.0 . Sign up to be notified 關于 TAO Toolkit 的最新更新。
Download NVIDIA TAO Toolkit 并開始建立自定義人工智能模型。您也可以在 LaunchPad 上體驗 NVIDIA TAO 工具包。
*本文轉載自 NVIDIA英偉達
*與 NVIDIA 産品相關的圖檔或視訊（完整或部分）的版權均歸 NVIDIA Corporation 所有。