L'IA nécessite toujours une supervision humaine pour rédiger des revues de littérature, malgré des contextes élargis
Une étude récente sur arXiv évalue l'utilisation des LLM pour rédiger des revues de littérature et conclut qu'une supervision humaine rigoureuse reste indispensable pour atteindre les standards académiques.
L'étude intitulée « LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs » (arXiv:2608.26145) analyse l'impact de la taille de la fenêtre de contexte (Context Window) sur la qualité des revues de littérature générées par des modèles de langage (LLM).
Dans le cadre de cette recherche, les auteurs ont évalué 20 revues de littérature générées par l'IA à partir de sources académiques telles que Semantic Scholar et arXiv. Deux chercheurs ont ensuite analysé leur qualité selon 15 critères d'évaluation.
Les résultats montrent qu'une supervision humaine (Human Oversight) demeure nécessaire pour que les textes produits répondent aux normes de publication académique. Si l'élargissement de la fenêtre de contexte permet au modèle de traiter des volumes d'informations plus importants et de maintenir une cohérence sur des entrées longues, des limites subsistent, notamment des répétitions et l'omission de certains points clés.
Cette étude met en lumière les limites actuelles de l'IA dans la recherche académique de haut niveau. Les chercheurs et étudiants utilisant les LLM pour synthétiser ou rédiger des travaux doivent rester prudents et vérifier systématiquement l'exactitude des contenus générés.