Un estudio señala que las revisiones de literatura con IA aún requieren supervisión humana, incluso con ventanas de contexto ampliadas
Un nuevo estudio en arXiv evalúa el uso de LLMs para redactar revisiones bibliográficas y concluye que aún se necesita una estricta supervisión humana para cumplir con los estándares académicos.
El estudio titulado "LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs" (arXiv:2608.26145) analiza el impacto del tamaño de la ventana de contexto (Context Window) en la calidad de las revisiones de literatura generadas por modelos de lenguaje grande (LLM).
En esta investigación, los autores evaluaron 20 revisiones bibliográficas generadas por IA a partir de fuentes académicas como Semantic Scholar y arXiv, las cuales fueron auditadas por dos investigadores bajo 15 dimensiones de calidad estandarizadas.
Los resultados revelan que las revisiones generadas por IA aún necesitan supervisión humana (Human Oversight) para alcanzar el nivel exigido en publicaciones académicas. Aunque una ventana de contexto más amplia permite al modelo procesar un mayor volumen de información y mantener la coherencia en textos largos, aún persisten problemas como la redundancia de contenido y la omisión de puntos clave.
El estudio pone de manifiesto las limitaciones actuales de la IA en tareas académicas avanzadas, recordando a investigadores y estudiantes que utilicen LLMs para resumir o redactar que deben actuar con cautela y verificar siempre la precisión por cuenta propia.