解碼 RTX AI PC 和工作站上的 AI 性能

由 NVIDIA RTX 和 GeForce RTX 技術驅動的 AI PC 時代已經到來。在這一背景下，一種評估 AI 加速性能的新方法應運而生，同時還帶來了一套新術語，這套術語成了使用者選擇台式電腦和筆記本電腦的參考标準。

雖然 PC 遊戲玩家了解每秒幀數（FPS）及類似的統計資料，但衡量 AI 性能需要新的名額。

TOPS 脫穎而出

TOPS，即每秒萬億次運算是首要的基準名額。“萬億”是這裡的關鍵詞：生成式 AI 任務背後的處理運算量是巨大的。您可以将 TOPS 視為原始性能名額，類似于發動機的額定功率。這個數值自然是越大越好。

例如，比較一下微軟最近釋出的 Windows 11 AI PC，其中就包含每秒至少可執行 40 萬億次運算的神經處理單元（NPU）。40 TOPS 的算力足以勝任一些輕量級 AI 輔助任務，例如詢問本地聊天機器人昨天的筆記在哪裡。

但許多生成式 AI 的算力需求遠不止于此。NVIDIA RTX 和 GeForce RTX GPU 可在所有生成式任務中提供卓越的性能，其中 GeForce RTX 4090 GPU 的算力可達 1177 TOPS。這就是處理 AI 輔助數字内容創作（DCC）、PC 遊戲 AI 超分辨率、根據文本或視訊生成圖像、與本地大語言模型（LLM）互動等任務所需的算力。

以 Token 衡量性能

TOPS 隻是一項基礎衡量名額。LLM 的性能以模型生成的 Token 數量來衡量。

Token 是 LLM 的輸出，它可以是句子中的一個詞，甚至可以是标點符号或空格這類更小的片段。AI 加速任務的性能可以用“每秒 Token 數”來衡量。

另一個重要因素則是 batch size，也就是在一次推理過程中可同時處理的輸入數量。由于大語言模型（LLM）是許多現代 AI 系統的核心，處理多個輸入（例如來自單個應用或跨多個應用）的能力将成為關鍵的差異化因素。雖然較大的 batch size 可以提升并發輸入的性能，但也需要占用更多的記憶體，尤其是運作較大的模型時。

RTX GPU 非常适合 LLM，因為它們擁有大量專用的顯存（VRAM）、Tensor Core 和 TensorRT-LLM 軟體。

GeForce RTX GPU 最多可提供 24GB 的高速 VRAM，而 NVIDIA RTX GPU 最多可提供 48GB 的高速 VRAM，可支援更大的模型和更大的 batch size。RTX GPU 還可利用 Tensor Core，這是一種專用的 AI 加速器，可顯著加速深度學習和生成式 AI 模型中的計算密集型運算。應用在使用 NVIDIA TensorRT 軟體開發套件（SDK）的情況下可輕松實作超高性能。該套件可在超過 1 億台由 RTX GPU 驅動的 Windows PC 和工作站上解鎖超高性能生成式 AI。

結合了大顯存、專用 AI 加速器和優化的軟體，RTX GPU 的吞吐量得到了巨大提升，尤其是在 batch size 增加的情況下。

文本生圖像，速度超以往

測量圖像生成速度是評估性能的另一種方法。最直接的一個方法是使用 Stable Diffusion，這是一種基于圖像的熱門 AI 模型，可讓使用者輕松地将文本描述轉換為複雜的視覺畫面。

視訊加載中...

借由 Stable Diffusion，使用者可以通過輸入關鍵詞快速獲得想要的圖像相比于 CPU 或 NPU，使用 RTX GPU 運作 AI 模型時可以更快生成所需結果。

在熱門的 Automatic1111 界面使用 TensorRT 擴充程式時，相應性能表現甚至會更好。借助 SDXL 模型，RTX 使用者通過提示生成圖像的速度至多可提升至原來的 2 倍，這可大幅簡化 Stable Diffusion 工作流。

另一個熱門的 Stable Diffusion 使用者界面 ComfyUI 在上周也支援了 TensorRT 加速。現在，RTX 使用者文生圖的速度可提升多達 60%。RTX 使用者還可使用 Stable Video Diffusion 将這些圖像轉換為視訊，在 TensorRT 的助力下，轉換速度甚至可提升多達 70%。

視訊加載中...

全新的 UL Procyon AI 圖像生成基準測試現已支援 TensorRT 加速。與最快的非 TensorRT 加速狀态相比，TensorRT 加速可在 GeForce RTX 4080 SUPER GPU 上帶來 50% 的速度提升。

适用于 Stable Diffusion 3 的 TensorRT 加速近期釋出，前者是 Stability AI 備受期待的全新文本轉圖像模型。此外，全新的 TensorRT-Model Optimizer 可進一步提升性能。與非 TensorRT 加速狀态相比，它可帶來顯著的速度提升，同時減少顯存消耗。

當然，眼見方能為實。真正的考驗來自于不斷疊代提示詞這種真實場景。在 RTX GPU 上，使用者通過改進提示詞來優化圖像的速度可得到顯著提升，每次疊代隻需數秒即可完成。而在 Macbook Pro M3 Max 上，完成相同的疊代需要耗費數分鐘。此外，如果在由 RTX 驅動的 PC 或工作站上本地運作，使用者可以同時享受到速度和安全性方面的優勢，并讓所有内容保持私密。

測試結果出爐，相關技術開源

不過，且不要僅聽我們的一面之詞。開源的 Jan.ai 背後的 AI 研究人員和工程師團隊最近将 TensorRT-LLM 內建到了其本地聊天機器人應用中，然後親自測試了這些優化效果。

研究人員在社群使用的各種 GPU 和 CPU 上，以開源的 llama.cpp 推理引擎為對照，測試了 TensorRT-LLM 的實際表現。他們發現 TensorRT“在相同硬體上比 llama.cpp 快 30-70%”，并且在進行連續處理時效率更高。該團隊還提供了測試方法，邀請其他人親自測試生成式 AI 的性能。

無論是遊戲還是生成式 AI，速度才是其緻勝法寶。在确定性能冠軍時，TOPS、每秒 Token 數和 batch size 均需納入考量。