亞馬遜推出全新 Nova Sonic 語音到語音模型

亞馬遜推出全新 Nova Sonic 語音到語音模型　

可深入理解人類對話，捕捉語氣、語調同節奏

亞馬遜宣布推出一款全新的基礎模型 Amazon Nova Sonic，將語音理解與語音生成統一於單一的模型中，使 AI 應用程式中的語音對話更貼近真人交流。該模型透過 Amazon Bedrock 上的新 API 提供，可簡化語音應用開發流程，例如客戶服務通話自動化，以及涵蓋旅遊、教育、醫療、娛樂等領域的跨行業 AI agents。

在過去十餘年間，亞馬遜一直引領著語音技術的發展，致力於為對話式 AI 應用賦能 — 從打造全球領先的個人 AI 助手 Alexa，到開發 Amazon Web Services 的各類服務，如 Lex、Polly 和 Connect 等。然而，若要讓語音 AI 為客戶創造更多實際價值，它必須能夠理解人類對話的微妙與複雜性。在對話中，文字本身承載意義，但若沒有聲音語境賦予其深度，僅憑文字往往難以傳達完整資訊。如何表達與表達甚麼同樣重要，甚至更為關鍵。從過去直到現在，透過 AI 實現這一點仍是巨大挑戰。

一套捕捉語氣、風格與節奏的語音系統

傳統語音應用開發需複雜協調多個模型，例如將語音轉為文字的語音識別模型、理解並生成回覆的大語言模型（LLM）、將文字再轉為音頻的文本轉語音模型。這種分散的方法不僅增加了開發的複雜性，同時也難以保留自然對話中至關重要的聲學情境和細微差別，如語氣、語調韻律和說話風格等。

Nova Sonic 採用全新方法應對這些挑戰。它摒棄了使用多個不同模型的方式，而是將理解與生成功能統一於單一模型中。這種整合使模型能根據語氣、風格等聲學情境以及口語輸入調整所生成的語音響應，從而實現更自然的對話。Nova Sonic 甚至能理解人類對話的細微之處，包括說話者的自然停頓與猶豫、能在恰當時機做出回應，並能從容應對對話中的插話情況。

基於 Amazon Nova Sonic 構建的旅遊 AI 代理示例

這段對話展示了客戶與虛擬旅遊助手討論夏威夷行程的場景。當客戶的語氣從興奮轉為擔憂費用時， AI 的語調隨之變得更具安撫性，並即時調取相關價格資訊。

該模型還會為用戶語音生成文字謄寫，讓開發者能夠利用這些文本來調用特定工具與 API，從而構建語音 AI 代理。比如在這個示例中，AI 旅遊代理可以透過獲取最新的航班資訊來協助機票預訂。這些功能，加上其超快的推理能力，使 Nova Sonic 支援的語音應用不僅更加自然，而且實用性更強。

基於 Amazon Nova Sonic 構建的企業 AI 助手示例
此示例展示了企業客戶如何從 Nova Sonic 基於公司數據生成響應的能力中受益。該助手能夠提取報告並以自然對話的方式傳遞準確資訊，同時主動提出相關的後續問題。這種流暢的對話模式支援多輪互動，無需說話者額外設定對話背景。

Nova Sonic 的推出彰顯了亞馬遜在先進基礎模型領域的持續創新，亞馬遜始終致力於為每一位亞馬遜客戶創造實際價值。

立即透過 Amazon Nova 開始體驗。欲了解更多資訊，請瀏覽亞馬遜在 AI 領域的創新。