ทันเอไอ

연구진 지적: AI 코딩 능력 측정, 아직 '불안정'하며 방해 요인 높아

여러 유수 기관 연구 결과, AI 코딩 능력 평가가 보이지 않는 요인으로 인해 오차가 발생할 수 있으며, 이는 모델 순위가 실제 능력을 반영하지 못할 수 있음을 보여준다.

AI 코딩 능력 순위는 생각보다 신뢰할 수 없을 수 있습니다. 여러 연구진이 현재 사용되는 표준 테스트 또는 benchmark의 정확성에 의문을 제기하기 시작했기 때문입니다. 이 주제에 대한 OpenAI의 직접적인 분석은 아직 확인되지 않았지만, 측정에서의 '노이즈' 문제는 광범위하게 논의되고 있습니다. Allen Institute for AI (Ai2)의 연구는 MBPP와 같은 일부 테스트에서 '노이즈'(임의 변동성)가 매우 높아 모델 성능 예측에 최대 15.7%의 오류를 유발한다고 지적합니다. 한편, Anthropic의 연구에서는 RAM과 같은 테스트용 컴퓨터의 기본 리소스 설정만 조정해도 점수가 6%포인트까지 변동될 수 있으며, 이는 때때로 선두 경쟁 모델 간의 점수 차이보다 큰 것으로 나타났습니다. 이 문제는 신뢰할 수 있는 AI 측정 표준을 구축하는 데 따르는 어려움을 보여주며, 이는 LLM(대규모 언어 모델)을 투명하고 정확하게 개발하고 비교하는 데 핵심적인 요소입니다.