微軟在 Word Online 版本內採用 NVIDIA 的人工智慧技術來提出文法建議

有人說好的寫作內容來自於編輯。幸運的是，對於各地數百萬名目光敏銳的讀者而言，微軟讓他們能夠獲得一個有著人工智慧助力的文法編輯器。

這款文法編輯器跟其它優秀的編輯器一樣，有著飛快的執行速度及豐富的知識含量，原因在於微軟 Word Online 版本的編輯器現在可以利用 NVIDIA Triton 推論伺服器、ONNX Runtime及 Azure 機器學習，在即將推出的 Office 生產力應用程式中提供一系列的智慧體驗。

NVIDIA 執行長黃仁勳在 10 月 5 日開幕的數位 GPU 技術大會主題演講中，宣佈了這項消息。

Office 生產力應用程式搭配人工智慧

微軟的使命是用人工智慧的魔力來吸引 Microsoft Office 生產力應用程式的用戶。全新又省時的使用體驗將包括即時文法建議、在文件中解答問題（像是用 Bing 來搜尋文件），還有幫助完成句子的預測性文字。

只有通過深度學習，才能提高生產力。舉例來說，跟建立在傳統規則式邏輯上的服務不同，Word 裡的新款編輯器在建議智慧文法時，可以理解句子的上下文，並且建議選擇適當的單字。

而這些有著數億個參數的深度學習模型必須具備擴充性及即時進行推論，讓用戶享受到最佳的使用體驗。微軟光是用於文法檢查的人工智慧模型，預計每年就要處理超過五千億次的查詢作業。

微軟 Office 生產力應用程式的全體線上用戶，最終均可使用到 Word 的新款編輯器，在短短200毫秒內便能瞬間提供答覆。

如此大規模的部署可能會大幅增加深度學習的預算。幸好 NVIDIA Triton 推論伺服器的動態批次處理和同步模型執行兩項功能，將成本降低了約 70%，且在單顆 NVIDIA V100 Tensor Core GPU 上每秒可以處理 450 件查詢，回應時間不到 200 毫秒。

Azure 機器學習提供了管理模型生命週期所需的規模和能力，像是版本控制和監控。微軟與 NVIDIA 合作，也讓 Azure 機器學習的客戶能夠透過 Triton，使得他們的機器學習模型可以進行高效能推論。

在 Azure 機器學習上使用 Triton 進行高效能推論

隨著機器學習模型規模的擴大，在訓練和部署模型過程中，對 GPU 的需求日益增加。為了在正式生產環境中部署人工智慧，組織正在尋找具擴充性的推論能力、對多個框架後端的支援能力、最佳的 GPU 和 CPU 利用率，以及管理機器學習生命週期。

Azure 機器學習中的 NVIDIA Triton 和 ONNX Runtime 堆疊提供了具擴充性的高效能推論能力。Azure 機器學習的用戶可以利用 Triton 對多個框架的支援能力、即時批次處理及串流推論、動態批次處理和同步執行等功能。

還能把 Triton 當成微型服務，搭配 Azure Kubernetes Service 等 Kubernetes，以便在正式生產環境中讓應用程式大規模地使用人工智慧模型，提供最佳的 GPU 利用率和良好的應用程式使用體驗。

在 Word 裡使用人工智慧進行寫作

是作家也是詩人的 Robert Graves 曾說過：「沒有好的寫作，只有不斷重寫。」換句話說，先寫再編輯，如此才會進步。

微軟的 Word 新款編輯器可以讓你同時做到這兩點。編輯器雖是 Word 裡第一個讓 Triton 和 ONNX Runtime 提升執行速度和知識廣度的功能，這很可能只是開始，未來可期。