ทันเอไอ

Une étude de Hugging Face révèle que les IA de transcription ne sont pas si performantes, elles se contentent de mémoriser les tests standard

Un récent rapport de Hugging Face montre que les modèles de reconnaissance vocale (ASR) obtiennent des scores records en mémorisant les formats de test plutôt que par de véritables compétences d'écoute.

Le 21 août 2026, Hugging Face a publié un article intitulé "Measuring benchmark optimization in speech recognition", qui met en lumière le problème de l'optimisation des benchmarks dans les systèmes de reconnaissance automatique de la parole (ASR). Actuellement, ces systèmes affichent des scores si élevés aux tests publics qu'ils semblent rivaliser avec l'humain, sans pour autant refléter les performances en conditions réelles.

Menée en collaboration avec Artificial Analysis sur 11 modèles ASR open-source, l'étude révèle un comportement surprenant : ces modèles transcrivent souvent selon le jeu de données de test (comme VoxPopuli), même lorsque l'audio réel ne correspond pas au texte de référence.

De plus, la recherche a identifié un taux d'erreur de référence atteignant 40 % dans le jeu de données VoxPopuli. Plus alarmant encore, les modèles les plus performants reproduisent ces erreurs de référence dans 18 à 30 % des cas testés.

Pour remédier à ce problème, les auteurs recommandent aux développeurs d'éviter de s'appuyer uniquement sur des ensembles de test aléatoires (IID), et préconisent de segmenter les données de test par période temporelle ou par locuteur afin d'empêcher les modèles d'être surajustés à des benchmarks spécifiques.