ทันเอไอ

Une étude révèle : Un simple changement de format de prompt peut faire varier les scores d'IA de plusieurs dizaines de pour cent, impactant la fiabilité des benchmarks.

Plusieurs études mettent en lumière un problème majeur dans le domaine de l'IA : les grands modèles linguistiques (LLM) affichent des performances radicalement différentes en fonction du format des prompts, même si le contenu sémantique reste identique.

Le problème de la fiabilité de l'évaluation ou des benchmarks des modèles d'IA est de nouveau au centre des débats dans le monde de la recherche. Des preuves claires montrent que même avec la même question, un simple changement dans le format de présentation des commandes (Prompt Formatting) – comme l'utilisation de titres, de séparateurs ou l'ordre des exemples – peut entraîner des variations considérables dans les scores de précision des grands modèles linguistiques (LLM).

Ce phénomène est appelé "Format Sensitivity" (sensibilité au format) et a été confirmé par plusieurs études récentes. Par exemple, une étude de Sclar et al. (2024) a révélé que le modèle LLaMA-2-13B présentait une différence de précision allant jusqu'à 76 points de pourcentage suite à de légères modifications du format du Prompt dans des tâches de type 'few-shot'. Une autre enquête a montré que le modèle GPT-3.5 avait une plage de variance des scores atteignant 56 points, testé avec 320 formats de Prompt différents sur 53 types de tâches, avec une médiane de variance de 6,4 points, un chiffre suffisamment élevé pour modifier le classement sur un Leaderboard.

Ce problème ne se limite pas à l'exactitude des réponses, mais s'étend également à la capacité de respecter une structure définie (Schema Compliance). Par exemple, lorsqu'il est demandé à un modèle de répondre au format de données JSON correct, des études ont montré que le taux de succès peut varier de 0% à 100%, selon la complexité de la tâche et le modèle utilisé.

Bien que ce sujet suscite un grand intérêt et soit soutenu par de nombreuses recherches, l'équipe de 'ทันเอไอ' a vérifié qu'un article académique intitulé "Format Sensitivity Index", cité comme l'une des sources initiales, ne peut être confirmé sur la base de données arXiv pour le moment. Cependant, la question de la sensibilité au format des Prompts est un problème reconnu et est intensivement étudiée dans le secteur afin de développer des méthodes d'évaluation de l'IA plus stables et fiables à l'avenir.