AMD Instinct MI300X加速器為Microsoft Azure OpenAI服務工作負載與全新Azure ND MI300X V5虛擬機器提升效能

AMD Instinct MI300X加速器為Microsoft Azure OpenAI服務工作負載與全新Azure ND MI300X V5虛擬機器提升效能

 

全新Azure ND MI300X V5現已全面推出,Hugging Face成為首名用戶

 

Microsoft採用配備AMD Instinct MI300XROCm軟件的虛擬機器
GPT工作負載帶來領先的性價比

 

AMD(NASDAQ: AMD)在Microsoft Build大會中向Microsoft的客戶及研發人員展示其最新的端對端運算及軟件功能。透過採用一系列 AMD解決方案,包括 AMD Instinct™ MI300X加速器、ROCm™開放式軟件、Ryzen™ AI處理器及軟件,以及Alveo™ MA35D媒體加速器等,Microsoft能夠提供強大的工具套件,在眾多市場進行以人工智能(AI)為基礎的部署。全新的Microsoft Azure ND MI300X虛擬機器(VM)現已全面推出,為Hugging Face等客戶支援最為嚴苛的AI工作負載,並實現卓越的效能表現及工作效率。

AMD總裁Victor Peng表示:「AMD Instinct MI300X及ROCm軟件堆疊支援Azure OpenAI Chat GPT 3.5與4服務,處理全球眾多最嚴苛的AI工作負載。隨着Azure 全面推出全新的虛擬機器,AI客戶可更廣泛採用MI300X,為AI應用帶來高效能及有效的解決方案。」

Microsoft首席技術總監兼AI執行副總裁Kevin Scott表示:「Microsoft 與AMD一直維持長期的夥伴關係,在眾多運算平台上合作無間,從最初的PC,到後來為Xbox開發的客製化晶片,以至HPC及現在的AI。在不久之前,我們明白到將強大運算硬件,與帶來驚人的AI效能及價值所需的系統及軟件互相結合是何其重要。為取得成果,我們與AMD透過運用ROCm及MI300X,攜手協助Microsoft 的AI客戶與開發人員,為最先進且運算密集的前沿模型帶來出色的性價比。Microsoft致力與AMD緊密合作,持續推動AI發展。」

推動Microsoft AI發展

Azure ND MI300x v5 虛擬機器系列已於2023年11月公佈預覽版本,現正在加拿大中部地區全面推出,供用戶執行AI工作負載。這些虛擬機器以領先業界的運算效能,帶來無與倫比的HBM儲存容量及記憶體頻寬,讓客戶在GPU記憶體中安裝更大的模型及/或使用較少的GPU,有助節省能源、成本,並縮短運算時間。

這些虛擬機器及負責驅動的ROCm™軟件亦可用於Azure AI生產工作負載,包括使用GPT-3.5及GPT-4模型的Azure OpenAI服務。憑藉AMD Instinct MI300X,以及經驗證且隨時可用的ROCm開放式軟件堆疊,Microsoft能在GPT推論工作負載中實現領先的性價比優勢。

Hugging Face為首批採用這些虛擬機器的客戶之一,除了處理Azure AI生產工作負載外,更用於其他範疇。Hugging Face僅用了一個月便將其模型遷移至ND MI300X 虛擬機器,並實現超卓的效能及性價比。此外,ND MI300X 虛擬機器客戶更能將Hugging Face模型遷移至虛擬機器,以簡便且有效的方式建立及部署自然語言處理(NLP)應用。

Hugging Face首席傳訊總監Julien Simon表示:「Microsoft、AMD及Hugging Face在ROCm 開放式軟件生態系統中的深度合作,將令Hugging Face用戶無需更改程式碼,便能使用配備AMD Instinct GPU的Azure,運行數十萬種Hugging Face Hub所提供的AI模型,從而讓Azure用戶透過開放式模型及開源碼更輕鬆地建立AI。」

此外,研發人員亦能在配備AMD Ryzen AI的PC上使用 AMD Ryzen AI軟件,優化及部署AI推理1。Ryzen AI軟件讓應用程式能夠在建基於AMD XDNA™架構的神經處理單元(NPU)上運行,此NPU為首款Windows x86處理器的專屬AI處理晶片2。僅於CPU或GPU上運行AI模型會迅速耗盡電池電量,而在配備Ryzen AI的筆記型電腦上,AI模型可交由內置的NPU來運行,從而釋放CPU及GPU資源以執行其他運算任務。這有助顯著延長電池壽命,讓研發人員有效地在設備上運行大型語言模型(LLM)的AI工作負載及應用。

 

推動視訊服務及企業運算

Microsoft已選用AMD Alveo™ MA35D媒體加速器、Microsoft Teams、SharePoint video等實時串流影片工作負載。Alveo MA35D專為支援大規模實時互動串流服務而度身訂造,將協助Microsoft透過影片轉碼、解碼、編碼及自行調適位元速率(adaptive bitrate,ABR)等串流影片處理工作負載,以確保高質素的影片觀賞體驗。在配備第4代AMD EPYC™處理器的伺服器中採用 Alveo MA35D加速器,Microsoft可取得:

  • 整合伺服器及雲端基建的能力  利用Alveo MA35D的高通道密度、能源效益以及超低延遲影片處理功能,Microsoft能大幅減少所需伺服器的數量,從而支援大容量即時互動串流應用程式。
  • 超卓的效能  Alveo MA35D配備以ASIC為基礎的影片處理單元,支援AV1壓縮標準及AI影片畫質優化功能,有助確保流暢及無縫的影片觀賞體驗。
  • 符合未來需求的AV1技術  Alveo MA35D備有支援 AV1 等新興標準的升級路徑,為Microsoft提供理想的解決方案,能適應日新月異的影片處理需求。

第4代AMD EPYC™處理器現在於 Azure 中支援眾多通用、記憶體密集型、運算優化型及加速運算型虛擬機器。這些虛擬機器展現AMD EPYC處理器在雲端的發展及需求,可在Azure上為通用及記憶體密集型虛擬機器帶來高達20% 的效能提升,並具有更高的性價比,更為運算優化型虛擬機器提供高達2 倍的CPU 效能。 Dalsv6、Dasv6、Easv6、Falsv6 和 Famsv6 VM 系列現已提供預覽版本,並將於未來數月全面推出。

數碼領域

AI 賦能職場協作技術 Logitech for Business打造智能辦公新生態

數碼領域
2024-06-20 0
AI 賦能職場協作技術 Logitech for Business打造智能辦公新生態   隨著實體辦公室和遠端工作的混合協作成為全球常態,具備科技賦能且能有效提升企業效能的辦公設備已成為企業競爭力的重要一環。許多知名企業積極引入專注於創新設計與優良品質的瑞士商 Logitech (羅技) ...

Samsung與BMW 話題之作 推出香港限定 Samsung | BMW – Galaxy S24 Ultra 限量版套裝 由即日起 Samsung 特選會員及 BMW 車主尊享限定訂購 體驗尖端科技與豪華汽車兩大品牌的前衛美學

數碼領域
2024-06-19 0
Samsung與BMW 話題之作 推出香港限定 Samsung | BMW – Galaxy S24 Ultra 限量版套裝 由即日起 Samsung 特選會員及 BMW 車主尊享限定訂購 體驗尖端科技與豪華汽車兩大品牌的前衛美學   香港三星電子有限公司與寶馬汽車(香港)有限公司首次攜手 ...

Be the first to comment

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料