NVIDIA A100 登陸 AWS,象徵加速雲端運算領域未來十年的開端

NVIDIA A100 登陸 AWS,象徵加速雲端運算領域未來十年的開端

NVIDIA GPU 登陸 AWS 已有十年,全新 A100 支援的 Amazon EC2 P4d 執行個體即可使用

 

Amazon Web Services (AWS) 的首個 GPU 執行個體於十年前亮相,搭載的是 NVIDIA M2050。當時以 CUDA 為基礎的應用程式主要集中在加速科學模擬,而人工智慧 (AI) 和深度學習的興起還遙遙無期。

  此後 AWS 又陸續加入穩定的雲端 GPU 執行個體,包括 K80 (p2)、K520 (g3)、M60 (g4)、V100 (p3/ p3dn) 和 T4 (g4)。

  隨著全新 P4d 執行個體今日正式上路,AWS 將在最新 NVIDIA A100 Tensor Core GPU 的支援下,為加速運算領域的下一個十年打穩基礎。

  全新 P4d 執行個體為機器學習訓練與高效能運算應用程式,提供 AWS 上採用 GPU 之最高效能、最具成本效益的平台。與預設的 FP32 精準度相比,使用 FP16 的執行個體訓練機器學習模型的時間縮短了三倍,使用 TF32 進行訓練的時間縮短了六倍。

  這些執行個體亦提供了極為卓越的推論表現。上個月,NVIDIA A100 GPU 於 MLPerf Inference 基準測試項目中所向披靡,其效能較 CPU 快上 237 倍。

每個 P4d 執行個體皆搭載 8 個 NVIDIA A100 GPU,客戶可以透過 AWS UltraClusters 使用 AWS Elastic Fabric Adaptor (EFA),以及提供可擴展高效能儲存裝置的 Amazon FSx,每次依需求調整規模以取得超過 4,000 個 GPU。P4d 提供 400Gbps 網路,並且使用 NVIDIA 的 NVLinkNVSwitchNCCL 及 GPUDirect RDMA 等技術,進一步加速處理深度學習訓練的作業負載。EFA 上的 NVIDIA GPUDirect RDMA 在伺服器之間將資料從 GPU 傳遞到 GPU,無需通過 CPU 和系統記憶體,確保低延遲的網路。

  此外,許多 AWS 服務都支援 P4d 執行個體,包括 Amazon Elastic Container Services、Amazon Elastic Kubernetes Service、AWS ParallelCluster 及 Amazon SageMaker。P4d 還能使用 NGC 所提供的各種經過優化的容器化軟體,包括高效能運算應用程式、AI 框架、預先訓練模型、Helm chart,以及 TensorRT 和 Triton 推論伺服器等推論軟體。

  現在可於美國東部和西部地區使用 P4d 執行個體,很快地將會開放給其它地區使用。用戶能夠以隨需執行個體 (On-Demand)、Savings Plans、預留執行個體 (Reserved Instance) 或 Spot 執行個體等方式來購買。

  GPU 雲端運算的第一個十年,已經將超過 100 exaflops 的 AI 運算能力帶入市場。現在有了 NVIDIA A100 GPU 支持的 Amazon EC2 P4d 執行個體,將為 GPU 雲端運算領域的下一個十年開創美好的開端。

  NVIDIA 與 AWS 攜手打造許多應用程式,並不斷突破 AI 的發展。我們迫不及待地想知道客戶將如何發揮這股潛力。

  請至 AWS,立即開始使用 P4d 執行個體

數碼領域

《2021全球公匙基建及物聯網趨勢研究》反映數碼轉型和職場變革推動對公匙基建和數碼證書的需求

數碼領域
2021-11-11 0
《2021全球公匙基建及物聯網趨勢研究》反映 數碼轉型和職場變革推動對公匙基建和數碼證書的需求   欠缺持有權、資源和技能持續對部署公匙基建構成挑戰 中國香港,2021年11月11日 — 由提供可信身份、支付和數據保護的全球領導翹楚 Entrust 委託Ponemon Institute進行的一項年 ...

Arlo 推出雙十一限定優惠 更抵價錢締造安全家居

數碼領域
2021-11-10 0
Arlo 推出雙十一限定優惠 更抵價錢締造安全家居   為慶祝「雙十一」年度購物盛事,Arlo 由即日起至11月30日為旗下多款屢獲殊榮的智能網絡攝影機及視訊門鈴提供優惠。 Arlo業界領先的家居保安產品,包括Arlo Pro 4 無線網絡聚光燈攝影機、Arlo Ultra 2 無線聚光燈攝影機、A ...

Be the first to comment

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料