ทันเอไอ

Исследователи указывают: измерение эффективности AI в написании кода все еще 'неустойчиво', с высоким уровнем помех

Исследования ведущих институтов показывают, что оценка способности AI к написанию кода может быть искажена невидимыми факторами, из-за чего рейтинг моделей может не отражать их истинные возможности.

Рейтинг способности AI писать код может быть менее надежным, чем кажется, поскольку исследователи из нескольких институтов начали ставить под сомнение точность текущих стандартных тестов или бенчмарков. Хотя прямое подтверждение анализа от OpenAI по этой теме еще не найдено, вопрос о 'помехах' в измерениях широко обсуждается. Исследование Allen Institute for AI (Ai2) показывает, что 'noise' (случайная изменчивость) в некоторых тестах, таких как MBPP, очень высок, что приводит к ошибкам до 15,7% при прогнозировании производительности модели. В то время как исследование Anthropic обнаружило, что простое изменение настроек базовых компьютерных ресурсов, используемых для тестирования, таких как RAM, может изменить оценки на 6 процентных пунктов, что иногда превышает разрыв в баллах между конкурирующими моделями в таблице лидеров. Этот вопрос отражает проблему создания надежных стандартов измерения для AI, что является ключом к дальнейшему прозрачному и точному развитию и сравнению больших языковых моделей (LLM).