ทันเอไอ

Pesquisadores: A avaliação da proficiência de IAs em codificação é 'instável' e com alta interferência

Pesquisas de instituições líderes revelam que a avaliação da capacidade de IAs para codificar pode ser imprecisa devido a fatores invisíveis, fazendo com que os rankings de modelos não reflitam a verdadeira proficiência.

A classificação da capacidade de IAs em codificação pode não ser tão confiável quanto se pensa, à medida que pesquisadores de várias instituições começam a questionar a precisão dos benchmarks e testes padrão atuais. Embora não haja confirmação direta de análises da OpenAI sobre este tópico, a questão do 'ruído' na medição está sendo amplamente debatida. Pesquisas do Allen Institute for AI (Ai2) indicam que o 'ruído' (variabilidade aleatória) em alguns testes, como o MBPP, é muito alto, levando a erros de até 15,7% nas previsões de desempenho dos modelos. Enquanto isso, um estudo da Anthropic descobriu que apenas ajustar recursos básicos do computador de teste, como a RAM, pode alterar as pontuações em até 6 pontos percentuais, às vezes mais do que a diferença de pontuação entre modelos concorrentes na tabela de classificação. Este ponto reflete o desafio de criar padrões de medição de IA confiáveis, o que é fundamental para o avanço transparente e preciso do desenvolvimento e comparação de Grandes Modelos de Linguagem (LLMs).