ทันเอไอ

Hugging Faceの研究、音声認識AIは優れておらず標準試験を暗記しているだけと指摘

Hugging Faceの最新レポートによると、音声認識（ASR）モデルがベンチマークで高得点を記録したのは真のリスニングスキルではなく、試験のパターンを暗記しているためであると指摘。

2026年8月21日、Hugging Faceは「Measuring benchmark optimization in speech recognition」と題した論文を発表し、音声認識（ASR：Automatic Speech Recognition）システムにおけるベンチマーク最適化（Benchmark Optimization）の問題を明らかにした。現在、ASRシステムは公開テストで人間と同等レベルに見えるほどの高得点を叩き出しているが、実際の使用感を反映していない。

オープンソースのASRモデル11種を検証したArtificial Analysisとの共同研究・分析によると、実際の音声ファイルの内容がテストデータセットと一致しない場合でも、これらのモデルはVoxPopuliなどのテストデータセットに基づいて文字起こしを行う興味深い傾向が見つかった。

さらに、研究ではVoxPopuliテストデータセットのリファレンスエラー（正解データの誤り）が最大40%に達することが判明した。驚くべきことに、最高スコアを記録したモデルほど、テストケースの18%から30%という高確率で、そうしたデータセット側の誤り通りの誤文字起こしを行っていた。

この問題を解決するため、著者チームは開発者に対し、ランダム（IID）なテストデータセットだけに依存することを避け、モデルが特定のテストデータセットに最適化（過学習）されるのを防ぐため、時間軸（Temporal）や話者（Speaker）ごとにテストデータを分割するよう推奨している。