ทันเอไอ

Investigadores: La evaluación del rendimiento de la IA en codificación es 'inestable' y está sujeta a alta interferencia

Investigaciones de instituciones líderes revelan que la evaluación de la IA en codificación puede ser imprecisa por factores ocultos, lo que impide que las clasificaciones de modelos reflejen su verdadera capacidad.

La clasificación de la capacidad de la IA para escribir código podría no ser tan confiable como se piensa, ya que investigadores de varias instituciones han comenzado a cuestionar la precisión de los *benchmarks* estándar utilizados actualmente. Aunque no se ha encontrado una confirmación directa del análisis de OpenAI sobre este tema, la cuestión del 'ruido' en las mediciones está siendo ampliamente debatida. Un estudio del Allen Institute for AI (Ai2) señala que el 'noise' (variabilidad aleatoria) en algunos *benchmarks*, como MBPP, es extremadamente alto, llegando a causar un error de hasta el 15.7% en la predicción del rendimiento del modelo. Mientras tanto, una investigación de Anthropic encontró que simplemente ajustar los recursos básicos del equipo de prueba, como la RAM, puede alterar las puntuaciones hasta en 6 puntos porcentuales, lo que a veces es mayor que la diferencia de puntuación entre modelos competidores en las tablas de clasificación. Este problema refleja el desafío de crear estándares de medición de IA confiables, un aspecto crucial para el desarrollo y la comparación transparente y precisa de los modelos de lenguaje grandes (LLM).