ทันเอไอ

Les chercheurs estiment : La mesure de la performance des IA en écriture de code est encore 'peu fiable' et soumise à de fortes perturbations.

Des études menées par plusieurs institutions de premier plan révèlent que l'évaluation des capacités des IA à écrire du code peut être faussée par des facteurs cachés, ce qui pourrait empêcher le classement des modèles de refléter leur véritable performance.

Le classement des capacités des IA à écrire du code pourrait être moins fiable qu'on ne le pense, alors que des chercheurs de plusieurs institutions remettent en question la précision des tests standard ou benchmarks actuels. Bien qu'aucune confirmation directe d'OpenAI sur ce sujet n'ait été trouvée, la question du 'bruit' dans la mesure est largement débattue. Des recherches de l'Allen Institute for AI (Ai2) montrent que le 'bruit' (variation aléatoire) dans certains tests, comme MBPP, est si élevé qu'il entraîne une erreur de prédiction de la performance du modèle allant jusqu'à 15,7%. Parallèlement, une étude d'Anthropic a révélé que le simple ajustement des ressources informatiques de base utilisées pour les tests, telles que la RAM, peut modifier les scores de 6 points de pourcentage, ce qui dépasse parfois l'écart de score entre les modèles concurrents figurant dans les classements. Cette problématique souligne le défi de créer des normes de mesure de l'IA fiables, un élément clé pour le développement et la comparaison transparents et précis des grands modèles de langage (LLM).