ทันเอไอ

Un estudio de Hugging Face revela que la IA de transcripción no es tan buena y solo memoriza los exámenes estándar

Un reciente informe de Hugging Face señala que los modelos de reconocimiento de voz (ASR) logran altas puntuaciones en benchmarks porque memorizan patrones de examen, no por una verdadera habilidad de escucha.

El 21 de agosto de 2026, Hugging Face publicó un artículo titulado "Measuring benchmark optimization in speech recognition", que expone el problema de la optimización de benchmarks en los sistemas de reconocimiento automático de voz (ASR). Actualmente, estos sistemas suelen obtener puntuaciones tan altas en pruebas públicas que parecen igualar a los humanos, pero esto no refleja su uso en el mundo real.

A partir de un estudio y análisis conjunto con Artificial Analysis, que examinó 11 modelos ASR de código abierto (open-source), se descubrió un comportamiento interesante: estos modelos suelen transcribir basándose en los conjuntos de datos de prueba, como VoxPopuli, incluso cuando el audio real del archivo no coincide con el texto de dicho conjunto.

Además, la investigación encontró errores de referencia de hasta un 40 % en el conjunto de pruebas VoxPopuli, y lo más alarmante es que los modelos con mejor rendimiento fueron aquellos que replicaron los errores del conjunto de pruebas entre un 18 % y un 30 % de los casos evaluados.

Para solucionar este problema, los autores recomendaron a los desarrolladores evitar depender únicamente de conjuntos de prueba aleatorios (IID) y pasar a dividir los datos de prueba por períodos temporales o por hablante, para evitar que los modelos se ajusten artificialmente a conjuntos de prueba específicos.