VMware 與 NVIDIA 為企業開啟生成式 AI 時代

VMware 與 NVIDIA 為企業開啟生成式 AI 時代

全新 VMware Private AI Foundation With NVIDIA 幫助企業為生成式 AI 在業務應用做好準備；該平台將提升企業的數據私隱、安全性和可控性。

VMware（NYSE：VMW）和 NVIDIA（NASDAQ：NVDA）於今日宣布擴展雙方的戰略合作夥伴關係，幫助成千上萬家使用 VMware 雲端基礎架構的企業做好準備，迎接AI時代。

VMware Private AI Foundation with NVIDIA 使企業能夠自定義模型並採用各種生成式 AI 應用，如智能聊天機器人、助手、搜索和摘要等。該平台將作為全集成式解決方案，方案採用了 NVIDIA 提供的生成式 AI 軟件和加速計算，基於 VMware Cloud Foundation 構建，並針對 AI 進行優化。VMware 首席執行官 Raghu Raghuram 表示：「生成式 AI 與多雲端架構可謂珠聯璧合。客戶的數據無處不在，遍佈其數據中心、邊緣、雲端等各處。我們將與 NVIDIA 一同助力企業安心地在數據附近運行生成式 AI 工作負載，並解決其在企業數據私隱、安全和控制方面的問題。」

NVIDIA 創始人兼首席執行官黃仁勳表示：「世界各地的企業都在競賽將生成式 AI 整合到自身業務中。通過擴展與 VMware 的合作，我們將能夠為金融服務、醫療、製造等領域的成千上萬家客戶提供其所需的全棧式軟件和計算，使其能夠使用基於自身數據定制的應用，充分釋放生成式 AI 的潛力。」

全棧式計算大幅提升生成式 AI 的性能

為更快實現業務效益，企業希望簡化並提高生成式 AI 應用的開發、測試和部署效率。根據麥肯錫的預測，生成式 AI 每年可為全球經濟帶來多達 4.4 萬億美元的增長。

VMware Private AI Foundation with NVIDIA 將助力企業充分利用這一優勢，以定制大語言模型，創建供內部使用，且更安全的私有模型，將生成式 AI 作為一項服務提供給用戶，並更安全地大規模運行推理工作負載。

該平台計劃提供的各種集成式 AI 工具，將幫助企業經濟高效地運行其私有數據訓練而成的成熟模型。這一建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 軟件上的平台預計能夠提供以下方面的優勢：

• 私隱：將通過能夠保護數據私隱並確保訪問安全的架構，使客戶能夠在任何數據所在地輕鬆運行 AI 服務。
• 選擇：企業在構建和運行其模型（NVIDIA NeMo™、Llama 2 等）時將擁有廣泛的選擇，包括領先的 OEM 硬件配置以及未來的公有雲和服務供應商解決方案。
• 性能：近期的行業基準測試表明，某些用例在 NVIDIA 加速的基礎設施上運行的性能與裸機性能相當，甚至超過了裸機性能。
• 數據中心規模：虛擬化環境中的 GPU 擴展優化使 AI 工作負載能夠在單個虛擬機和多個節點上擴展到最多 16 顆 vGPU/GPU，從而加快生成式 AI 模型的微調和部署速度。
• 更低的成本：將最大程度地利用 GPU、DPU 和 CPU 的所有計算資源以降低總體成本，並創建可在各個團隊間高效共享的集中資源環境。
• 加速存儲：VMware vSAN Express Storage Architecture 提供性能經過優化的 NVMe 存儲，並支持通過 RDMA 實現 GPUDirect® 存儲，從而無需 CPU 即可實現從存儲到 GPU 的直接 I/O 傳輸。
• 加速網絡：vSphere 與 NVIDIA NVSwitch™ 技術之間的深度集成將進一步確保多 GPU 模型的執行不會出現 GPU 間瓶頸問題。
• 快速部署和價值實現時間：vSphere Deep Learning VM 鏡像和鏡像庫將提供穩定的交鑰匙解決方案鏡像，該鏡像預先安裝了各種框架和性能經過優化的鏡像庫，可實現快速原型開發。

該平台將採用 NVIDIA NeMo。NVIDIA NeMo 是 NVIDIA AI Enterprise（NVIDIA AI 平台的操作系統）中包含的雲端到雲端原生框架，可助力企業在幾乎任何地點構建、自定義和部署生成式 AI 模型。NeMo 集自定義框架、護欄工具包、數據整理工具和預訓練模型於一身，使企業能夠以一種簡單、經濟且快速的方式來採用生成式 AI。

為將生成式 AI 部署到生產中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速並優化 NVIDIA GPU 上最新 LLM 的推理性能。通過 NeMo，VMware Private AI Foundation with NVIDIA 將使企業能夠導入自己的數據，並在 VMware 混合雲基礎架構上構建和運行自定義生成式 AI 模型。

在 VMware Explore 2023 上，NVIDIA 與 VMware 將重點介紹企業內部的開發人員如何使用全新 NVIDIA AI Workbench 提取社區模型（例如 Hugging Face 上提供的 Llama 2），對這些模型進行遠程自定義並在 VMware 環境中部署生產級生成式 AI。

生態圈對 VMware Private AI Foundation With NVIDIA 的廣泛支持

VMware Private AI Foundation with NVIDIA 將得到DELL、HPE和聯想的支持。這三家企業將率先提供搭載 NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU 和 NVIDIA ConnectX®-7 智能網卡的系統，這些系統將加速企業 LLM 定制化和推理工作負載。

相較於 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可將生成式 AI 的推理性能和訓練性能分別提高 1.2 倍和 1.7 倍。

NVIDIA BlueField-3 DPU 可加速、卸載和隔離 GPU 或 CPU 上的巨大計算工作負載，其中包含虛擬化、網絡、存儲、安全，以及其他雲原生 AI 服務。

NVIDIA ConnectX-7 智能網卡可為數據中心基礎設施提供智能加速網絡，進而大幅加快全球最高要求的 AI 工作負載。

VMware Private AI Foundation with NVIDIA 建立在兩家公司長達十年的合作基礎之上。雙方的聯合研發成果優化了 VMware 的雲基礎架構，使其能夠以媲美裸機的性能運行 NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的資源及基礎架構管理與靈活性將進一步惠及雙方共同的客戶。

供應情況

VMware 計劃於 2024 年初發布 VMware Private AI Foundation with NVIDIA。