NVIDIA Orin 在邊緣人工智慧領域與 MLPerf 測試中領先群雄

NVIDIA Orin 在邊緣人工智慧領域與 MLPerf 測試中領先群雄

剛發布的 NVIDIA Jetson AGX Orin 提升邊緣人工智慧的標準，並將我們在最新產業推論基準測試中的整體排名往前推升

採用 NVIDIA Ampere 架構的低功耗系統單晶片 (SoC) NVIDIA Orin，首度參與 MLPerf 產業基準測試便刷新人工智慧 (AI) 推論的紀錄，將每個邊緣加速器的效能發揮到極致。

整體來說，在第五輪生產型 AI 的產業衡量指標中，NVIDIA 與合作夥伴展現執行各項機器學習作業負載和場景的最高效能與最廣泛的商業生態系。

NVIDIA Orin 預生產版本在六項邊緣 AI 領域的效能測試中，有五項領先其他競爭對手。其執行速度較前一代 Jetson AGX Xavier 提升五倍，而能源使用效率亦平均提升兩倍。

NVIDIA Orin 現在可以透過用於機器人和自主系統的 NVIDIA Jetson AGX Orin 開發者套件中取得。超過六千家客戶包含 Amazon Web Services (AWS)、John Deere、Komatsu、Medtronic 與微軟 (Microsoft) Azure，皆使用 NVIDIA Jetson 平台進行 AI 推論或其他作業。

其同時也是我們 NVIDIA Hyperion 自動駕駛汽車平台的重要角色之一。中國最大的電動車製造商比亞迪 (BYD) 是最新一家宣布將在其新一代自動駕駛電動車車隊中，採用基於 Orin 的 DRIVE Hyperion 架構之汽車製造商。

Orin 也是 NVIDIA Clara Holoscan 醫療設備平台的關鍵角色之一，系統製造商與研究人員透過該平台開發新一代的 AI 醫療器材。

小模組，大堆疊

搭載包括 Jetson AGX Orin 在內的 NVIDIA GPU 的伺服器及裝置，是唯一能夠執行所有六項 MLPerf 基準測試項目的邊緣加速器。

Orin 搭配 JetPack SDK 可執行完整的 NVIDIA AI 平台，其軟體堆疊已在資料中心與雲端環境中取得驗證，並且由百萬名使用 NVIDIA Jetson 平台的開發人員支持。

註：MLPerf v2.0 推論關閉；每個加速器的效能來自個別提交的最佳 MLPerf 測試結果，使用資料中心離線和伺服器中提報的加速器數量。Qualcomm AI 100：2.0-130、Intel Xeon 8380 來自 MLPerf v.1.1 提交結果：1.1-023 和 1.1-024、Intel Xeon 8380H 1.1-026、NVIDIA A30：2.0-090、NVIDIA A100 (Arm)：2.0-077、NVIDIA A100 (X86)：2.0-094。MLPerf 名稱與標誌為註冊商標。更多資訊請參閱：www.mlcommons.org/zh/。

NVIDIA 與合作夥伴持續在最新一輪的 MLPerf 推論測試活動中，在所有測試和場景中展現領先的效能表現。

MLPerf 基準測試獲亞馬遜 (Amazon)、Arm、百度 (Baidu)、戴爾科技 (Dell Technologies)、Facebook、Google、哈佛大學 (Harvard)、英特爾 (Intel)、聯想 (Lenovo)、微軟、史丹佛大學 (Stanford) 及多倫多大學 (University of Toronto) 等多個組織支持。

最多的合作夥伴及提交數量

NVIDIA AI 平台再次吸引來自最廣泛的合作夥伴商業生態系支持，紛紛提交最多數量的 MLPerf 測試結果。

Azure 繼去年 12 月首度參加 MLPerf 訓練測試並有出色的表現後，在這一輪的 AI 推論測試中，同樣取得優異的成績，其兩次皆使用 NVIDIA A100 Tensor 核心 GPU。Azure 的 ND96amsr_A100_v4 執行個體在幾乎各項推論測試中，都與我們提交的八顆 GPU 最佳表現不相上下，展現公有雲隨時能提供服務的能力。

系統製造商華碩 (ASUS) 與 H3C 在本輪測試中首次參加 MLPerf，並使用 NVIDIA AI 平台來提交結果。他們與回歸的系統製造商戴爾科技、富士通 (Fujitsu)、技嘉 (GIGABYTE)、Inspur、聯想、Nettrix 和美超微 (Supermicro)，共使用超過二十款 NVIDIA 認證系統提交測試結果。

MLPerf 的重要性

我們的合作夥伴深知客戶在評估 AI 平台和廠商時，MLPerf 是一項十分具代表性的工具，因此他們參與這項測試活動。

MLPerf 的各項測試涵蓋當今最熱門的 AI 作業負載和場景，讓用戶相信這項基準測試能反映出執行各項作業時可預期的效能。

軟體使其大放異彩

我們用於測試的所有軟體皆能透過 MLPerf 資料庫取得。

用於最佳化 AI 模型的 NVIDIA TensorRT，以及用於高效部署 AI 模型的 NVIDIA Triton 推論伺服器，是本次取得推論成績的兩大利器，可於我們的 GPU 最佳化軟體目錄 NGC 上免費下載。

世界各地的組織均採用 Triton，包括亞馬遜及微軟在內的雲端服務供應商。

我們持續將各項最佳化內容放入 NGC 上可用的容器內，如此一來，每個使用者便能開始將 AI 投入生產，並享受頂尖的效能表現。