OpenAI三款全新语音模型实测！更会“听”与“说”

摘要：3月21日，OpenAI在其API中推出全新一代音频模型。这次，一共发布了三款全新语音识别模型gpt-4o-transcribe、gpt-4o-mini-transcribe、GPT-4o-mini-TTS，正式开启了语音智能体的时代。

整理自 | 新智元、APPSO

3月21日，OpenAI在其API中推出全新一代音频模型。这次，一共发布了三款全新语音识别模型gpt-4o-transcribe、gpt-4o-mini-transcribe、GPT-4o-mini-TTS，正式开启了语音智能体的时代。

全球领先的语音识别模型及背后创新技术

gpt-4o-transcribe (语音转文本)：比原来的Whisper模型更准确，更理解人类说话，错误更少

gpt-4o-mini-transcribe (语音转文本)：gpt-4o-transcribe 的精简版本，速度更快、效率更高

gpt-4o-mini-tts (文本转语音)：可控性强，用户可以直接对它发号施令，不仅指定说什么，还能教它怎么说

三款模型的语音转文本和文本转语音的功能，让开发者能轻松构建智能体。OpenAI还改进了蒸馏技术，使得大型音频模型能够将知识有效地转移到更小、更高效的模型中。通过采用先进的自我博弈方法，蒸馏数据集成功捕捉了真实的对话动态，模拟了真实的用户与助手的互动。这帮助小型模型在对话质量和响应性上表现优秀。

在GPT-4o和GPT-4o-mini架构之上，新的音频模型在专门的以音频为中心的数据集上进行了大量预训练。这些数据集对于优化模型性能至关重要。这种有针对性的方法使得模型能更好地理解语音中的细微差别，从而在音频相关任务中表现出色。

在几个重要的测试中，gpt-4o-transcribe表现比Whisper模型好，错误更少，这是因为OpenAI用了更先进的学习方法和更多音频数据。这些新模型能更好地理解人说话的细节，减少错误，特别是在有口音、很吵或者说话很快的情况下。

新模型在多个测试中都取得了更低的WER，包括一个包含100多种语言的测试。这表明新模型在更多的语言上都能表现得很好。指标「词错误率」（word error rate，WER）用于衡量语音识别的准确性：WER越低，表示模型越准确。

最新语音转文本STT模型，减少了在FLEURS上的转录错误率WER

顶级模型在FLEURS上，不同语言的的WER比较

如上图所示，新模型在大多数主要语言上的表现都优于其他领先的模型。这意味着OpenAI的语音识别技术，在全球范围内都是领先的。

OpenAI还推出了全新的gpt-4o-mini-tts模型，具有更好的可控性。现在可以对模型「发号施令」，不仅能告诉模型该说啥，还能教它怎么说。不管是完成客户服务，还是进行创意故事创作，都能有不错的定制体验。目前，已经在文本转语音API里上线。不过要注意，现在文本转语音模型只有人工预设的声音。

对于语音转文本STT模型，OpenAI引入了强化学习（RL）范式，让转录准确度达到了最先进的水平。这种方法显著提高了精准度，并减少了幻觉，在复杂语音识别场景中具备了极强的竞争力。这些技术进展代表了音频建模领域的突破，结合创新的方法和实际的增强，提升了语音应用的性能。

现场实测展现TTS模型实际表现

在21日凌晨的直播中，OpenAI现场实测，展示了一番新的TTS模型实际表现。

首先，他们的VOICE（音色）选择了Ash，然后在VIBE（大概是情感的意思）中随机出了Mad Scientist（疯狂科学家）。

之后输入了需要合成音频的脚本：

Ah-ha-ha! The stars tremble before my genius! The rift is open, theenergy surging-unstable? Perhaps. Dangerous? Most certainly!

Captain Rylen's hands twitch over the controls. Fools! They hesitate, but I-I alone see the future! 「Engage the thrusters!」 I bellow, eyes wild with possibility.

The ship lurches, metal groaning-oh, what delicious chaos! Light bends,time twists,and then-800M!

Silence. Darkness. And then. oh-ho! A new universe! Bigger! Stranger! Andmine for the taking!

Ah-ha-ha-ha!

首次尝试的时候没输出，不过刷新后很快模型正常输出音频，大家可以通过下边视频感受一下模型的效果。可以听得出，合成的语音质量还是挺高的，基本上没有多少AI味了，甚至还有一些高级感。语音清晰，但语气狂得飞起，听起来就像一本正经的吹牛。

接着，他们又换了另一种VIBE：Serene（宁静），输入了下面的合成脚本：

This livestream is going really well! You are doing great.

这次的语音效果就显得十分平静，给人一种宁静感，就像李白《静夜思》的意境一样。

还可以利用全新的的语言模式，直接调用智能体。从今以后，文本智能体转换为语音智能体变得轻而易举。直播中，演示了要在电话上使用Patagonia客服智能体，需要修改已有智能体的哪些代码。只用9行代码，智能体不仅听得懂人话，而且会开口说话了！就像AI版的Siri，可以直接询问最近的订单，智能体听起来就像真的客服一样。Agent调用工具，获得相关信息后，回答自然，准确，流畅。

直播的结尾，还有一个小彩蛋。OpenAI现场宣布举办有奖竞赛，可获得全球限定版收音机：

谁能想出最有创意的文本转语音使用方式，并分享给Open AI的Twitter账户，就有机会获得特别版收音机。

他们会选出3位获奖者，可能是因为这款收音机全世界只有三台，背面有Open AI的logo。

创意爆棚的小伙伴可以去碰碰运气。

意在语音Agent，未来计划多模态AI

OpenAI在博客中称，新的语音模型套件旨在为语音Agent提供强大支持，并已向全球开发者开放。

在最近几个月里，OpenAI一直在努力让文本智能助手变得更聪明、更强大、更有用。

OpenAI推出了很多Agent产品，比如Operator、Deep Research、Computer-Using Agents和Responses API，这些都是为了帮助AI助手更好地完成任务。

但是，为了让智能助手真正有用，需要让AI能和人更自然、更深入地交流，就像我们和朋友聊天一样。所以，OpenAI让智能助手不仅能理解我们的话，还能用自然的声音回答我们。现在，开发者还可以让智能助手的语音听起来更人性化，比如听起来像一位温柔的客服人员。这样，智能助手就能更好地为客服、讲故事等不同的场合服务。

这些新音频模型现已向所有开发者开放。更多关于如何使用音频的内容，参阅OpenAI的相关文档。

API文档：https://platform.openai.com/docs/guides/audio

添加语音转文本和文本转语音模型，最简便方式的构建语音代理。OpenAI还发布了与Agents SDK的集成，开发过程更加简单。如果开发者希望构建低延迟的语音转语音体验，OpenAI建议使用语音转语音模型来构建实时API。OpenAI还提供了简单的Demo，点击下展示页面Play按钮，即可体验人性化的机器语音。