ทันเอไอ

Estudo revela: Apenas mudar o formato do Prompt faz a pontuação da IA oscilar em dezenas de pontos percentuais, afetando a confiabilidade dos benchmarks

Vários estudos recentes apontam um grande problema na área de IA, onde Modelos de Linguagem Grandes (LLMs) mostram desempenhos drasticamente diferentes apenas devido a variações na formatação dos comandos, mesmo que o conteúdo principal seja o mesmo.

O problema da confiabilidade na avaliação ou benchmark de modelos de IA está sendo novamente debatido na comunidade de pesquisa, com evidências cada vez mais claras de que, mesmo usando a mesma pergunta, apenas mudar a forma de apresentar o comando (Prompt Formatting) – como usar títulos, delimitadores ou a ordem dos exemplos – pode fazer com que as pontuações de precisão de Modelos de Linguagem Grandes (LLMs) mudem drasticamente.

Este fenômeno é chamado de "Sensibilidade ao Formato" (Format Sensitivity) e foi confirmado por vários estudos recentes. Por exemplo, a pesquisa de Sclar et al. (2024) descobriu que o modelo LLaMA-2-13B apresentava uma diferença na pontuação de precisão de até 76 pontos percentuais, apenas devido a pequenas modificações no formato do Prompt em tarefas few-shot. Enquanto outro estudo revelou que o modelo GPT-3.5 tinha uma variação de pontuação de até 56 pontos, testado com 320 formatos de Prompt diferentes em 53 tipos de tarefas, com uma mediana de variação de 6,4 pontos, um número alto o suficiente para alterar a classificação em um Leaderboard.

Este problema não se limita apenas à correção das respostas, mas também inclui a capacidade de seguir uma estrutura definida (Conformidade com o Esquema). Por exemplo, instruir o modelo a responder em um formato de dados JSON correto, onde estudos descobriram que a taxa de sucesso pode variar de 0% a 100%, dependendo da complexidade da tarefa e do modelo utilizado.

Embora este tópico seja de grande interesse e haja muitos estudos que o apoiam, a equipe de notícias 'ทันเอไอ' descobriu que o artigo acadêmico intitulado "Format Sensitivity Index", que é uma das fontes iniciais, não pode ser confirmado como existente na base de dados arXiv neste momento. No entanto, a questão da sensibilidade ao formato do Prompt é um problema reconhecido e está sendo intensamente estudado na área, a fim de desenvolver métodos de avaliação de IA mais estáveis e confiáveis no futuro.