NVIDIA 推出大型人工智慧語言模型供全球企業使用

NVIDIA 推出大型人工智慧語言模型供全球企業使用

NVIDIA NeMo Megatron 框架、Megatron 530B 可自訂大型

語言模型；多 GPU、多節點的 Triton 推論伺服器可促成

語言人工智慧的開發與部署，以推進產業與科學發展

NVIDIA (輝達) 今天宣布為全球的企業打開大型語言模型 (LLM) 開發與部署的大門，讓他們能打造自身所處特定領域的聊天機器人、個人助理，以及得以用前所未有的細微差異理解人類語言的其它人工智慧 (AI) 應用。

NVIDIA 發表了運用數兆個參數來訓練語言模型的 NVIDIA NeMo Megatron 框架、可針對全新領域和語言進行訓練的 Megatron 530B 可自訂 LLM，以及搭載多 GPU、多節點、具分散式推論功能的  NVIDIA Triton 推論伺服器^TM。

這些工具結合 NVIDIA DGX^TM 系統，能提供可立即生產 (production-ready) 的企業級解決方案，以簡化大型語言模型的開發與部署。

NVIDIA深度學習應用研究部門副總裁 Bryan Catanzaro 表示：「大型語言模型已經被證實具備相當的彈性與能力，可以回答深度的特定領域問題、翻譯語言、理解並總結資料、撰寫故事與運算程式，而且全部都不須特定的訓練或監督。為新的語言和領域建立大型語言模型，可能是迄今最大型的超級運算應用，而這些功能對全世界的企業來說已唾手可得。」

NVIDIA NeMo Megatron 與 Megatron 530B 加速 LLM 的發展

NVIDIA NeMo Megatron 將 Megatron 的技術進展發揚光大。Megatron 是一個由NVIDIA 研究人員帶領的開源專案，研究大型 Transformer 語言模型的大規模有效訓練。

NeMo Megatron 框架可以讓企業克服在訓練精巧複雜的自然語言處理模型時面臨的挑戰，經最佳化處理後，可以在 NVIDIA DGX SuperPOD^TM 的大規模加速運算基礎架構上進行擴展。

NeMo Megatron 利用可以匯入、管理、組織與清除資料的資料處理函式庫，自動化 LLM 訓練的複雜性。它使用資料、張量與流程平行化的先進技術，把大型語言模型的訓練高效率地分散到數千個 GPU。企業可以使用 NeMo Megatron 框架為他們所處的特定領域和語言訓練 LLM。

NVIDIA Triton 推論伺服器帶動即時 LLM 推論

今天另外發表的全新 NVIDIA Triton 推論伺服器的全新多 GPU、多節點功能，可以讓 LLM 推論的作業負載即時在多個 GPU 與節點上擴展。這些模型需要的記憶體數量不但超過單一 GPU、甚至超過搭載多個 GPU 的大型伺服器具備的可用記憶體，而推論則必須快速運行才能在應用程式中發揮作用。

有了 Triton 推論伺服器，Megatron 530B 可以在兩套 NVIDIA DGX 系統上運行，並把 CPU 伺服器原本需要的一分多鐘處理時間縮短到 0.5 秒，以便針對即時應用程式部署 LLM。

全球各地陸續開發出大型的自訂語言模型

利用 NVIDIA DGX SuperPOD 打造大型語言模型的早期採用機構有 SiDi、京東探索研究院 (JD Explore Academy) 以及 VinBrain。

巴西最大 AI 研發機構之一的 SiDi 已將三星 (Samsung) 的虛擬助理用於兩億名巴西的葡萄牙語使用者。

SiDi 執行長 John Yi 表示：「SiDi 的團隊對於開發 AI 虛擬助理與聊天機器人擁有豐富的經驗，這些作業需要強大的 AI 效能，以及針對人類語言不斷變化的細微之處進行訓練與調適的特定軟體。NVIDIA DGX SuperPOD 是促進我們團隊工作的理想選擇，能協助我們為巴西的葡語使用者帶來引領全球的 AI 服務。」

中國頂尖的供應鏈技術與服務供應商 JD.com (京東) 的研發機構京東探索研究院正使用 NVIDIA DGX SuperPOD，為智慧客服、智慧零售、智慧物流、物聯網與健康照護等應用開發自然語言處理 (NLP)。

越南的醫療照護 AI 公司 VinBrain，則已經使用 DGX SuperPOD 為 100 家醫院的放射科醫師與遠距醫療團隊開發與部署臨床語言模型，供超過 600 位健康照護醫療人員使用。

供應時程

企業可以透過今天宣布的 NVIDIA LaunchPad，免費在計畫實驗室中體驗 LLM 開發與部署。

企業組織可以申請加入早期試用計畫，使用用於 LLM 訓練的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton 則可以從 NVIDIA NGC^TM 目錄取得，這是一個針對 GPU 進行最佳化的 AI 軟體中心，內容包括框架、工具套件、預先訓練的模型與 Jupyter Notebooks，以及來自 Triton GitHub 儲存庫的開源代碼。

NVIDIA Triton 也被包括在 NVIDIA AI Enterprise 軟體套件中，該套件由 NVIDIA 最佳化、認證和支援。企業可以使用該軟體套件在當地資料中心和私有雲中的主流加速伺服器上運行語言模型推論。

NVIDIA DGX SuperPOD 與 NVIDIA DGX 系統可以透過 NVIDIA 的全球經銷商取得；經銷商可經符合資格的客戶提出需求後提供報價。

免費報名參加NVIDIA GPU 技術大會 (GTC) 以瞭解更多，線上 GTC 將舉行至 11 月 11 日。歡迎觀看 NVIDIA 創辦人暨執行長黃仁勳於 11 月 9 日發表的主題演講。