谷歌"理解式"语音转写模型,自动删口头禅、调用函数,让Agent听懂人话

流云 2026-08-29 1003 0条评论
摘要:    2026年8月26日,谷歌正式推出Gemini 3.5 Transcribe——一款智能语音转文本与自动整理模型。它并非传统"逐字记录"...

   2026年8月26日,谷歌正式推出Gemini 3.5 Transcribe——一款智能语音转文本与自动整理模型。它并非传统"逐字记录"式语音转写工具,而是主打"理解式转写":自动删除口头禅与自我修正内容,完成标点与格式整理,覆盖85种以上语言,适用于语音输入、会议转写与Agent语音交互场景。模型由Gemini Audio团队发布,同步上线Google AI Studio公开预览,并已先行在Pixel 11的Gboard Rambler与Gemini macOS应用中落地。

一、从"听到什么写什么"到"理解你想说什么"

传统语音转写追求的是"词错率越低越好"——只要把用户说的每个字准确转成文字就算完成任务。Gemini 3.5 Transcribe的核心差异在于,它追求的是"理解用户真正想表达的意思"。

当用户说出"周二——不,周三见面"时,传统模型会忠实地转写出包括"不"在内的自我修正过程,而Gemini 3.5 Transcribe会直接输出"周三见面"。它同时会删除"嗯""呃"等口头禅,完成标点与格式整理。用户可提供自定义词表适配专业术语,例如医疗、法律或工程领域的专有名词。

这种"理解式转写"的背后,是模型对语音内容的语义理解能力——它不仅能听清每个字,还能判断哪些是冗余、哪些是修正、哪些是有效信息。对于追求"原话留存"的场景来说这或许是个问题,但对于追求"高效沟通"的场景,这恰恰是它最大的价值。

二、性能数据:流式4.0%的词错率,速度比前代快约70%

根据Artificial Analysis第三方评测数据,Gemini 3.5 Transcribe的词错率(WER)为流式4.0%、非流式2.6%,相比前代Chirp 3的7.32%有显著提升,速度提升约70%。模型支持85种以上语言的自动检测与中途切换,预录音频最多支持3人说话者标注,并附带逐词时间戳。模型提供两个API端点:gemini-3.5-transcribe-live(实时场景,延迟低于1秒)和gemini-3.5-transcribe(预录音频,支持说话者归属与词级时间戳)。

三、函数调用:语音转写成为Agent的入口

Gemini 3.5 Transcribe的突破不仅在于转写质量。它通过函数调用可将图片生成、文件分析等任务委托给其他Gemini模型执行,使语音转写不再是流水线终点,而是Agent工具调用循环中的路由节点。

在AI工具导航的框架下,Gemini 3.5 Transcribe与纯转写工具拉开距离——它不仅负责"听写",更负责"整理"和"路由"。开发者可以用一句话语音指令驱动完整的跨模型工作流:用户说出"帮我分析这份报告并生成PPT",语音转写后触发文档分析+演示生成两个模型接力完成。在AI办公软件推荐的选型逻辑中,这种"语音入口+多模型调度"的设计,使其成为语音助手的理想底座——尤其适合需要多轮语音交互的智能客服、会议助手和语音控制自动化场景。相比GPT-Realtime-Whisper侧重实时字幕,Transcribe更强调智能整理与Agent集成;相比国产Hy ASR 3.0 preview在中文WER(3.34%)上的优势,Transcribe以85种以上语言覆盖形成差异化竞争。

四、应用场景与适用人群

  • 语音输入与口述编辑:通过Gboard Rambler实现语音整理成文,适合移动端长文本创作

  • 会议与通话转写:预录音频支持3人说话者识别与逐词时间戳,适用于会议记录与访谈分析

  • 多语言实时沟通:85种以上语言自动检测与中途切换,适用于跨语言会议

  • Agent语音交互:函数调用使转写结果直接进入Agent工具调用循环,适用于语音助手与智能客服

适用人群:移动端内容创作者、会议记录与访谈分析团队、多语言客服产品经理,以及构建语音Agent交互链路的AI应用开发者。需特别注意:法律取证、医疗记录等需严格保留原话的场景中,模型的"智能润色"可能改变原始措辞,应谨慎评估。

五、如何使用

用户可通过Google AI Studio或Gemini Enterprise Agent Platform接入,实时场景使用gemini-3.5-transcribe-live端点,预录音频使用gemini-3.5-transcribe端点。如需识别专业术语,可在请求中传入自定义词汇列表。目前模型处于公开预览阶段,谷歌尚未公布正式定价。消费者端通过Pixel 11的Gboard与Gemini应用直接使用,Chrome浏览器的"随说随写"功能即将接入。

六、常见问题

  • 与Chirp 3的区别:速度提升约70%,词错率从7.32%降至流式4.0%/非流式2.6%,新增自动删口头禅、自我修正识别与函数调用

  • 是否免费:目前公开预览阶段可免费试用,正式定价待官方公布

  • 是否支持中文:支持,覆盖85种以上语言与方言,可处理多语言混说

  • 能否保留逐字记录:默认不能,法律取证等场景需谨慎评估


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1386.html发布于 2026-08-29
文章转载或复制请以超链接形式并注明出处三文阁