AMD Instinct MI300X加速器為Microsoft Azure OpenAI服務工作負載與全新Azure ND MI300X V5虛擬機器提升效能

AMD Instinct MI300X加速器為Microsoft Azure OpenAI服務工作負載與全新Azure ND MI300X V5虛擬機器提升效能

全新Azure ND MI300X V5現已全面推出，Hugging Face成為首名用戶

Microsoft採用配備AMD Instinct MI300X與ROCm軟件的虛擬機器
為GPT工作負載帶來領先的性價比

AMD（NASDAQ: AMD）在Microsoft Build大會中向Microsoft的客戶及研發人員展示其最新的端對端運算及軟件功能。透過採用一系列 AMD解決方案，包括 AMD Instinct™ MI300X加速器、ROCm™開放式軟件、Ryzen™ AI處理器及軟件，以及Alveo™ MA35D媒體加速器等，Microsoft能夠提供強大的工具套件，在眾多市場進行以人工智能（AI）為基礎的部署。全新的Microsoft Azure ND MI300X虛擬機器（VM）現已全面推出，為Hugging Face等客戶支援最為嚴苛的AI工作負載，並實現卓越的效能表現及工作效率。

AMD總裁Victor Peng表示：「AMD Instinct MI300X及ROCm軟件堆疊支援Azure OpenAI Chat GPT 3.5與4服務，處理全球眾多最嚴苛的AI工作負載。隨着Azure 全面推出全新的虛擬機器，AI客戶可更廣泛採用MI300X，為AI應用帶來高效能及有效的解決方案。」

Microsoft首席技術總監兼AI執行副總裁Kevin Scott表示：「Microsoft 與AMD一直維持長期的夥伴關係，在眾多運算平台上合作無間，從最初的PC，到後來為Xbox開發的客製化晶片，以至HPC及現在的AI。在不久之前，我們明白到將強大運算硬件，與帶來驚人的AI效能及價值所需的系統及軟件互相結合是何其重要。為取得成果，我們與AMD透過運用ROCm及MI300X，攜手協助Microsoft 的AI客戶與開發人員，為最先進且運算密集的前沿模型帶來出色的性價比。Microsoft致力與AMD緊密合作，持續推動AI發展。」

推動Microsoft AI發展

Azure ND MI300x v5 虛擬機器系列已於2023年11月公佈預覽版本，現正在加拿大中部地區全面推出，供用戶執行AI工作負載。這些虛擬機器以領先業界的運算效能，帶來無與倫比的HBM儲存容量及記憶體頻寬，讓客戶在GPU記憶體中安裝更大的模型及／或使用較少的GPU，有助節省能源、成本，並縮短運算時間。

這些虛擬機器及負責驅動的ROCm™軟件亦可用於Azure AI生產工作負載，包括使用GPT-3.5及GPT-4模型的Azure OpenAI服務。憑藉AMD Instinct MI300X，以及經驗證且隨時可用的ROCm開放式軟件堆疊，Microsoft能在GPT推論工作負載中實現領先的性價比優勢。

Hugging Face為首批採用這些虛擬機器的客戶之一，除了處理Azure AI生產工作負載外，更用於其他範疇。Hugging Face僅用了一個月便將其模型遷移至ND MI300X 虛擬機器，並實現超卓的效能及性價比。此外，ND MI300X 虛擬機器客戶更能將Hugging Face模型遷移至虛擬機器，以簡便且有效的方式建立及部署自然語言處理（NLP）應用。

Hugging Face首席傳訊總監Julien Simon表示：「Microsoft、AMD及Hugging Face在ROCm 開放式軟件生態系統中的深度合作，將令Hugging Face用戶無需更改程式碼，便能使用配備AMD Instinct GPU的Azure，運行數十萬種Hugging Face Hub所提供的AI模型，從而讓Azure用戶透過開放式模型及開源碼更輕鬆地建立AI。」

此外，研發人員亦能在配備AMD Ryzen AI的PC上使用 AMD Ryzen AI軟件，優化及部署AI推理^註1。Ryzen AI軟件讓應用程式能夠在建基於AMD XDNA™架構的神經處理單元（NPU）上運行，此NPU為首款Windows x86處理器的專屬AI處理晶片^註2。僅於CPU或GPU上運行AI模型會迅速耗盡電池電量，而在配備Ryzen AI的筆記型電腦上，AI模型可交由內置的NPU來運行，從而釋放CPU及GPU資源以執行其他運算任務。這有助顯著延長電池壽命，讓研發人員有效地在設備上運行大型語言模型（LLM）的AI工作負載及應用。

推動視訊服務及企業運算

Microsoft已選用AMD Alveo™ MA35D媒體加速器、Microsoft Teams、SharePoint video等實時串流影片工作負載。Alveo MA35D專為支援大規模實時互動串流服務而度身訂造，將協助Microsoft透過影片轉碼、解碼、編碼及自行調適位元速率（adaptive bitrate，ABR）等串流影片處理工作負載，以確保高質素的影片觀賞體驗。在配備第4代AMD EPYC™處理器的伺服器中採用 Alveo MA35D加速器，Microsoft可取得：

• 整合伺服器及雲端基建的能力 － 利用Alveo MA35D的高通道密度、能源效益以及超低延遲影片處理功能，Microsoft能大幅減少所需伺服器的數量，從而支援大容量即時互動串流應用程式。
• 超卓的效能 － Alveo MA35D配備以ASIC為基礎的影片處理單元，支援AV1壓縮標準及AI影片畫質優化功能，有助確保流暢及無縫的影片觀賞體驗。
• 符合未來需求的AV1技術 － Alveo MA35D備有支援 AV1 等新興標準的升級路徑，為Microsoft提供理想的解決方案，能適應日新月異的影片處理需求。

第4代AMD EPYC™處理器現在於 Azure 中支援眾多通用、記憶體密集型、運算優化型及加速運算型虛擬機器。這些虛擬機器展現AMD EPYC處理器在雲端的發展及需求，可在Azure上為通用及記憶體密集型虛擬機器帶來高達20% 的效能提升，並具有更高的性價比，更為運算優化型虛擬機器提供高達2 倍的CPU 效能。 Dalsv6、Dasv6、Easv6、Falsv6 和 Famsv6 VM 系列現已提供預覽版本，並將於未來數月全面推出。