剛剛，Google 發(fā)布了適用于實(shí)時(shí)語音代理的 Gemini 2.5 Flash Native Audio 更新版本。此次更新提升了模型處理復(fù)雜工作流程、理解用戶指令以及進(jìn)行自然對話的能力。

就在前不久，Google 分別對 Gemini 2.5 Pro 和 Flash Text-to-Speech 型號進(jìn)行了升級，從而提高了對音頻生成的控制能力。

Gemini 2.5 Flash 首次將原生音頻的自然體驗(yàn)帶入 Search Live，用戶可在 Search Live 中獲得實(shí)時(shí)幫助，或構(gòu)建新一代企業(yè)級客戶服務(wù)代理。

除了為智能客服提供支持外，Google 還推出了實(shí)時(shí)語音翻譯功能，這項(xiàng)功能支持耳機(jī)上的實(shí)時(shí)語音翻譯，并能保留說話者的語調(diào)、語速和音高。

在線語音客服

Google 從三個(gè)關(guān)鍵方面改進(jìn)了 Gemini 2.5 原生音頻：

1. 更精準(zhǔn)的函數(shù)調(diào)用：提升了模型在觸發(fā)外部函數(shù)時(shí)的可靠性。模型能夠更準(zhǔn)確地識別對話過程中何時(shí)需要獲取實(shí)時(shí)信息，并將這些數(shù)據(jù)無縫地融入音頻響應(yīng)中，而不會(huì)中斷對話流程。在 ComplexFuncBench Audio 測試中，Gemini 2.5 Native Audio 以 71.5% 的得分領(lǐng)先。

2. 指令執(zhí)行能力更強(qiáng)：該模型現(xiàn)在能夠更好地處理復(fù)雜指令，從而顯著提升用戶對內(nèi)容完整性的滿意度。其對開發(fā)者指令的遵循率高達(dá) 90%，輸出結(jié)果也更加可靠。

3. 更流暢的對話：多輪對話質(zhì)量方面取得了顯著提升。Gemini 2.5 Flash Native Audio 能夠更有效地從之前的對話輪次中獲取上下文信息，從而創(chuàng)建更連貫的對話。

Newo.ai 聯(lián)合創(chuàng)始人 David Yang 評價(jià)道，“通過 Vertex AI 與 Gemini 2.5 Flash Native Audio 模型協(xié)同工作，Newo.ai 的 AI 接待員能夠?qū)崿F(xiàn)無與倫比的對話智能……即使在嘈雜的環(huán)境中，它們也能識別主要說話者，在對話過程中切換語言，并且聽起來非常自然，富有情感表現(xiàn)力�！�

實(shí)時(shí)語音翻譯

除語音客服的功能外，Gemini 還支持全新的實(shí)時(shí)語音翻譯功能，旨在處理連續(xù)聆聽和雙向?qū)υ�。通過持續(xù)聆聽，Gemini 可以自動(dòng)將多種語言的語音翻譯成單一目標(biāo)語言。

對于雙向?qū)υ�，Gemini 的實(shí)時(shí)語音翻譯功能可實(shí)時(shí)處理兩種語言之間的翻譯，并根據(jù)說話者自動(dòng)切換輸出語言。例如，如果說英語的用戶想與一位說印地語的人聊天，他會(huì)在耳機(jī)中實(shí)時(shí)聽到英語翻譯，并使用手機(jī)自動(dòng)翻譯播報(bào)印地語。

Gemini 的實(shí)時(shí)語音翻譯具有許多在現(xiàn)實(shí)世界中非常有用的關(guān)鍵功能：

• 語言覆蓋范圍：結(jié)合 Gemini 模型的全球知識庫和多語言功能及其原生音頻功能，可翻譯 70 多種語言和 2000 多個(gè)語言對的語音。

• 風(fēng)格遷移：捕捉人類語言的細(xì)微差別，保留說話者的語調(diào)、語速和音高，使翻譯聽起來自然流暢。

• 多語言輸入：可在一次會(huì)話中同時(shí)理解多種語言，幫助用戶輕松跟上多語言對話，而無需調(diào)整語言設(shè)置。

• 自動(dòng)檢測：識別說話的語言并開始翻譯，不需要知道正在說的是什么語言即可開始翻譯。

• 降噪性能：過濾環(huán)境噪音，即使在嘈雜的戶外環(huán)境中也能舒適地交談。

參考資料：

https://blog.google/products/gemini/gemini-audio-model-updates/