NVIDIA Orin 在邊緣人工智慧領域與 MLPerf 測試中領先群雄

NVIDIA Orin 在邊緣人工智慧領域與 MLPerf 測試中領先群雄

 

剛發布的 NVIDIA Jetson AGX Orin 提升邊緣人工智慧的標準,並將我們在最新產業推論基準測試中的整體排名往前推升

 

採用 NVIDIA Ampere 架構的低功耗系統單晶片 (SoC) NVIDIA Orin,首度參與 MLPerf 產業基準測試便刷新人工智慧 (AI) 推論的紀錄,將每個邊緣加速器的效能發揮到極致。

整體來說,在第五輪生產型 AI 的產業衡量指標中,NVIDIA 與合作夥伴展現執行各項機器學習作業負載和場景的最高效能與最廣泛的商業生態系。

NVIDIA Orin 預生產版本在六項邊緣 AI 領域的效能測試中,有五項領先其他競爭對手。其執行速度較前一代 Jetson AGX Xavier 提升五倍,而能源使用效率亦平均提升兩倍。

NVIDIA Orin 現在可以透過用於機器人和自主系統的 NVIDIA Jetson AGX Orin 開發者套件中取得。超過六千家客戶包含 Amazon Web Services (AWS)、John Deere、Komatsu、Medtronic 與微軟 (Microsoft) Azure,皆使用 NVIDIA Jetson 平台進行 AI 推論或其他作業。

其同時也是我們 NVIDIA Hyperion 自動駕駛汽車平台的重要角色之一。中國最大的電動車製造商比亞迪 (BYD) 是最新一家宣布將在其新一代自動駕駛電動車車隊中,採用基於 Orin 的 DRIVE Hyperion 架構之汽車製造商。

Orin 也是 NVIDIA Clara Holoscan 醫療設備平台的關鍵角色之一,系統製造商與研究人員透過該平台開發新一代的 AI 醫療器材。

小模組,大堆疊

搭載包括 Jetson AGX Orin 在內的 NVIDIA GPU 的伺服器及裝置,是唯一能夠執行所有六項 MLPerf 基準測試項目的邊緣加速器。

Orin 搭配 JetPack SDK 可執行完整的 NVIDIA AI 平台,其軟體堆疊已在資料中心與雲端環境中取得驗證,並且由百萬名使用 NVIDIA Jetson 平台的開發人員支持。

NVIDIA 在每個加速器的推論表現皆領先競爭對手,同時也是唯一一家提出各項作業負載測試結果的業者。

註:MLPerf v2.0 推論關閉;每個加速器的效能來自個別提交的最佳 MLPerf 測試結果,使用資料中心離線和伺服器中提報的加速器數量。Qualcomm AI 1002.0-130Intel Xeon 8380 來自 MLPerf v.1.1 提交結果:1.1-023  1.1-024Intel Xeon 8380H 1.1-026NVIDIA A302.0-090NVIDIA A100 (Arm)2.0-077NVIDIA A100 (X86)2.0-094MLPerf 名稱與標誌為註冊商標。更多資訊請參閱:www.mlcommons.org/zh/

NVIDIA 與合作夥伴持續在最新一輪的 MLPerf 推論測試活動中,在所有測試和場景中展現領先的效能表現。

MLPerf 基準測試獲亞馬遜 (Amazon)、Arm、百度 (Baidu)、戴爾科技 (Dell Technologies)、Facebook、Google、哈佛大學 (Harvard)、英特爾 (Intel)、聯想 (Lenovo)、微軟、史丹佛大學 (Stanford) 及多倫多大學 (University of Toronto) 等多個組織支持。

最多的合作夥伴及提交數量

NVIDIA AI 平台再次吸引來自最廣泛的合作夥伴商業生態系支持,紛紛提交最多數量的 MLPerf 測試結果。

Azure 繼去年 12 月首度參加 MLPerf 訓練測試並有出色的表現後,在這一輪的 AI 推論測試中,同樣取得優異的成績,其兩次皆使用 NVIDIA A100 Tensor 核心 GPU。Azure 的 ND96amsr_A100_v4 執行個體在幾乎各項推論測試中,都與我們提交的八顆 GPU 最佳表現不相上下,展現公有雲隨時能提供服務的能力。

系統製造商華碩 (ASUS) 與 H3C 在本輪測試中首次參加 MLPerf,並使用 NVIDIA AI 平台來提交結果。他們與回歸的系統製造商戴爾科技、富士通 (Fujitsu)、技嘉 (GIGABYTE)、Inspur、聯想、Nettrix 和美超微 (Supermicro),共使用超過二十款 NVIDIA 認證系統提交測試結果。

MLPerf 的重要性

我們的合作夥伴深知客戶在評估 AI 平台和廠商時,MLPerf 是一項十分具代表性的工具,因此他們參與這項測試活動。

MLPerf 的各項測試涵蓋當今最熱門的 AI 作業負載和場景,讓用戶相信這項基準測試能反映出執行各項作業時可預期的效能。

軟體使其大放異彩

我們用於測試的所有軟體皆能透過 MLPerf 資料庫取得。

用於最佳化 AI 模型的 NVIDIA TensorRT,以及用於高效部署 AI 模型的 NVIDIA Triton 推論伺服器,是本次取得推論成績的兩大利器,可於我們的 GPU 最佳化軟體目錄 NGC 上免費下載。

世界各地的組織均採用 Triton,包括亞馬遜微軟在內的雲端服務供應商。

我們持續將各項最佳化內容放入 NGC 上可用的容器內,如此一來,每個使用者便能開始將 AI 投入生產,並享受頂尖的效能表現。

數碼領域

商湯科技打造「元蘿蔔SenseRobot」AI下棋機器人 郭晶晶任首席體驗官

數碼領域
2022-08-09 0
商湯科技打造「元蘿蔔SenseRobot」AI下棋機器人 郭晶晶任首席體驗官   全球領先的人工智能軟件公司商湯科技推出首款家庭消費級人工智能(AI)產品——「元蘿蔔SenseRobot」AI下棋機器人,進一步拓展其「智慧生活」業務。產品獲得中國象棋協會權威認證,並由奧運冠軍郭晶晶代言。透過結合領先 ...

在 SIGGRAPH 大會與 NVIDIA 一同深入探討人工智慧、虛擬分身與元宇宙

數碼領域
2022-08-06 0
在 SIGGRAPH 大會與 NVIDIA 一同深入探討人工智慧、虛擬分身與元宇宙 人工智慧 (AI)、虛擬世界及數位人等領域的創新技術正塑造未來的設計與創作內容走向,在全球規模最大的電腦繪圖專業盛會 SIGGRAPH 上一窺 NVIDIA 在這些領域的最新進展,此大會將於太平洋時間 8 月 8 日 ...

Be the first to comment

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料