ทันเอไอ

Hugging Face 연구 결과, 음성 인식 AI는 실제로 뛰어난 게 아니라 표준 시험을 암기했을 뿐

Hugging Face의 최신 보고서에 따르면, 음성 인식(ASR) 모델이 벤치마크에서 높은 점수를 기록한 것은 실제 청취 능력이 아니라 시험 패턴을 암기했기 때문인 것으로 나타났다.

2026년 8월 21일, Hugging Face는 "Measuring benchmark optimization in speech recognition"이라는 제목의 아티클을 발표했다. 이 아티클은 현재 인간과 맞먹는 수준의 높은 공인 테스트 점수를 기록하고 있으나 실제 사용 환경은 반영하지 못하는 자동 음성 인식(ASR) 시스템의 벤치마크 최적화(Benchmark Optimization) 문제를 조명했다.

Artificial Analysis와 공동으로 진행한 연구 및 분석을 통해 11개의 오픈소스 ASR 모델을 검사한 결과, 흥미로운 행동 패턴이 발견되었다. 이 모델들은 실제 파일의 음성이 테스트셋의 텍스트와 일치하지 않더라도 VoxPopuli 같은 테스트 데이터셋에 맞춰 텍스트를 변환하는 경향이 있었다.

또한 이번 연구에서는 VoxPopuli 테스트셋의 정답 데이터(Reference errors) 오류율이 최대 40%에 달한다는 점도 발견했다. 더욱 충격적인 것은 가장 높은 점수를 받은 모델이 해당 테스트셋의 오류를 테스트 케이스의 18%에서 최대 30%까지 그대로 따라 하며 오답을 출력했다는 사실이다.

이 문제를 해결하기 위해 연구팀은 개발자들에게 무작위 테스트셋(IID)에만 의존하지 말고, 모델이 특정 테스트셋에 과적합(Overfitting)되는 것을 방지하기 위해 시간대(Temporal)나 화자(Speaker)별로 테스트 데이터를 분리할 것을 권장했다.