Estudio revela: la puntuación de la IA varía decenas de puntos porcentuales solo por cambiar el formato del prompt, afectando la fiabilidad de los benchmarks
Múltiples estudios revelan un problema importante en la IA: los modelos de lenguaje grandes (LLM) muestran un rendimiento radicalmente distinto solo por variar el formato de las instrucciones, aun cuando el contenido sea idéntico.
La fiabilidad de la evaluación y los benchmarks de los modelos de IA está nuevamente en debate en la comunidad investigadora. Ha surgido evidencia clara de que, incluso con la misma pregunta, un simple cambio en el formato del prompt (Prompt Formatting) –como el uso de encabezados, separadores o el orden de los ejemplos– puede alterar drásticamente las puntuaciones de precisión de los Modelos de Lenguaje Grandes (LLM).
Este fenómeno se denomina "sensibilidad al formato" (Format Sensitivity) y ha sido confirmado por varias investigaciones recientes. Por ejemplo, un estudio de Sclar et al. (2024) encontró que el modelo LLaMA-2-13B mostró una diferencia de hasta 76 puntos porcentuales en la precisión, solo por un pequeño ajuste en el formato del Prompt en tareas de pocos ejemplos (few-shot). Otra encuesta reveló que GPT-3.5 tuvo un rango de variabilidad de puntuación de hasta 56 puntos al ser probado con 320 formatos de Prompt diferentes en 53 tipos de tareas, con una variabilidad mediana de 6.4 puntos, una cifra lo suficientemente alta como para cambiar las posiciones en las Leaderboards.
Este problema no se limita a la exactitud de las respuestas, sino que también afecta la capacidad de cumplir con estructuras definidas (Schema Compliance), como solicitar al modelo que responda en un formato de datos JSON válido. Estudios han demostrado que la tasa de éxito puede oscilar entre 0% y 100%, dependiendo de la complejidad de la tarea y el modelo utilizado.
Aunque este tema es de gran interés y está respaldado por numerosas investigaciones, el equipo de noticias 'ทันเอไอ' (TanAI) verificó que el artículo académico "Format Sensitivity Index", una de las fuentes iniciales, no pudo ser confirmado en la base de datos arXiv en este momento. No obstante, la cuestión de la sensibilidad al formato del Prompt es ampliamente reconocida y se está estudiando intensamente en el sector para desarrollar métodos de evaluación de IA más estables y fiables.
Para el público general, esto sugiere que las puntuaciones de las Leaderboards para determinar qué IA es mejor podrían no ser siempre fiables. Los desarrolladores deben ser extremadamente cautelosos al diseñar prompts para asegurar el máximo rendimiento y consistencia de los modelos.