同样的答案,换个口音就少几分:四个语音模型的口音打分实验
作者:陈一帆
华盛顿大学牵头的研究团队在 EMNLP 上报告,Gemini 2.5 Pro/Flash、GPT-Audio 1.5 与 Qwen 3 Omni 在评估英语口语时,给美国、英国口音打分最高,中国和尼日利亚口音垫底,印度居中。即使朗读内容完全相同、模型也能准确转录,排名依旧不变,模型的评语里还带着明显的等级判断。
华盛顿大学牵头的研究团队 10 月 25 日在布达佩斯举行的 EMNLP 会议上报告了一项测试:Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-Audio 1.5 和开放权重的 Qwen 3 Omni 在给英语口语打分时,普遍把中国和尼日利亚口音排最低,印度口音居中,美国和英国口音最高 。关键的一点是,朗读内容完全一致、模型也准确转录了语音,这个排名依然不变。也就是说,被扣掉的并不是答案,而是口音本身。
实验是怎么做的
团队用 ElevenLabs 的合成男声和女声,让五种口音朗读同一批文本——面试回答、课堂报告、会议演讲、英语水平测试回答——四个模型按 1 到 7 分,分别给“表达”和“内容”打分,还要写一句评语。为了排除合成音的干扰,他们又请来自五个国家的 52 位真人重复了面试部分,一次照稿朗读,一次即兴作答,结论一致;真人之间的口音分差甚至比合成音更大 。
研究团队还分析了语音的声学特征,测量所谓“声学距离”,发现离美式口音越远的口音,往往得分越低 。
评语暴露的问题
评语是更值得看的部分。模型反复形容中国和尼日利亚口音的说话人“含糊不清”“难以理解”,但它们转录带口音语音的能力其实很好。“它们理解说话者,只是基于口音,对说话者抱有一种隐性的等级观念,”共同第一作者、华盛顿大学博士生 Orevaoghene Ahia 说 。
这一点很要紧:如果模型真的听不清,那属于技术不够好,把语音识别做好就能解决;但问题是它听懂了,却仍然给“听起来不像标准美音”的人压低分数,还给出听起来很客观的理由。
对普通人意味着什么
这类打分已经开始进入真实流程。Ahia 提到,人们正把音频 AI 当作第三方评估者,用于招聘、教育口语考试,以及部分移民英语测试——“这些场景里公平非常重要” 。
设想一个场景:你参加 AI 面试初筛,题目答得完整、逻辑也清楚,但系统给你的“表达”分比同样答案的另一个人低,理由写着“表达不够清晰”。你没法申诉,因为看起来那只是模型在客观评分。口语练习 App 也一样——分数低了,你可能以为是词汇量不够,实际上只是口音。
换个角度看,这是能校准的问题
从工程上看,这个结果有一个相对乐观的解读:偏差并不在“听”,而在“评”。团队推测偏差可能来自几个地方:训练数据里把带口音的人描述成难懂、某些口音的代表性不足,或者训练方式强化了“职业说话人应该怎么发声”的固有期待。一个反例是尼日利亚以英语为官方语言、印度学校以英语授课,但两国口音仍被打低分 。
资深作者、华盛顿大学副教授 Yulia Tsvetkov 的建议很具体:构建更有代表性的训练和评测数据,并且发布评估时不要只报平均值,要按子群体、方言拆开报。“我们不希望整体准确率 97%,但某个小群体只有 20%” 。团队接下来打算研究更多真人(包括同一国家内的地区差异),以及医疗场景下的音频分析,例如自动应急响应 。
几处待核实
论文题为《The Cost of Sounding Different: Accent Bias in Audio Language Models》,在 EMNLP 2026 发表 。截至发稿,以标题和作者在 arXiv 检索均未找到全文 ,因此各模型之间的具体分差、样本语音条数等数字,以论文正式公开为准。另外,这项研究部分由 Google 和 OpenAI 资助 ,这一点在阅读结论时值得记在心里。
如果你现在正用 AI 练口语或准备面试,一个实用提醒:把分数当练习反馈用,别当成对能力的最终裁决。
转载说明
本文根据以下公开资料整理,原文及配图出处见下方。
- [S1] Google 和 OpenAI 的模型对特定口音有偏见
- [S2] Leading AI models are biased against certain accents when scoring interviews, presentations and tests
- [S3] Search | arXiv e-print repository
- [S4] Search | arXiv e-print repository
- [S5] Search Results - ACL Anthology
- [S6] Search Results for “accent bias” – UW News
- [S7] Search | arXiv e-print repository
评论 0
还没有评论,来抢沙发。