연구 결과, LLM 벤치마크 절반 가까이 "포화 상태"... 더 이상 측정 무의미
ICML 2026에 게재된 새 연구가 LLM 벤치마크 60개를 분석한 결과, 절반 가까이가 고성능 모델 간 변별력을 상실한 것으로 나타났다
Mubashara Akhtar와 Anka Reuel을 필두로 EvalEval Coalition 프로젝트 소속 36명의 연구진이 제43차 International Conference on Machine Learning(ICML) 2026 Proceedings에 benchmark saturation(벤치마크 포화) 문제를 체계적으로 분석한 논문을 발표했다. 연구진은 주요 모델 개발사들의 기술 보고서에서 LLM 벤치마크 60개를 선정해 연구를 진행했다.
연구팀은 saturation을 벤치마크가 "최고 성능 모델들 사이를 신뢰성 있게 구분하는 능력을 상실하는 것"으로 정의했다. 쉽게 말해 우수한 모델들이 모두 거의 만점에 가까운 점수를 받아 어느 모델이 더 나은지 구분할 수 없게 되는 상태다. 이들은 leaderboard 데이터를 바탕으로 uncertainty-aware(불확실성을 고려하는) saturation 지수를 개발해 측정에 활용했으며, 태스크 설계, 데이터 생성, 평가 방식을 포괄하는 14개 항목의 벤치마크 특성을 정의해 무엇이 벤치마크의 포화를 빠르게 또는 느리게 만드는지에 대한 5가지 가설을 검증했다.
분석 결과 벤치마크의 거의 절반이 이미 saturation 증상을 보이는 것으로 나타났으며, 이 비율은 벤치마크의 연식이 오래될수록 증가했다. 주목할 만한 발견이자 업계의 통념과 배치되는 결과는, 테스트 데이터를 비공개(private test set)로 유지하는 것이 saturation 방지에 전혀 도움이 되지 않는다는 점이다. 반면 전문가가 문항을 선별한 벤치마크는 crowdsourced(다수의 인원이 함께 데이터를 만드는 방식) 벤치마크보다 saturation에 더 잘 저항하는 것으로 나타났다.
독립 분석 블로그인 State of AI Substack은 이 연구를 엄밀한 분석 프레임워크라고 평가하며, 테스트셋의 연식과 규모가 테스트 데이터 비공개나 적대적 설계처럼 많은 이들이 안전하다고 여겼던 조치보다 saturation을 예측하는 더 중요한 요인이라고 지적했다. 연구진 중 한 명인 Irene Solaiman도 X를 통해 AI 모델이 발전하면서 많은 벤치마크가 포화 상태에 이르러 더 이상 모델을 변별하지 못하고 있다고 정리했다.
벤치마크 점수는 AI 기업들이 모델의 성능을 자랑할 때 쓰는 지표다. 측정 도구가 포화 상태라면 이 점수를 보고 모델을 선택하는 사용자와 기업들이 잘못된 방향으로 이끌릴 수 있다. 이 소식은 벤치마크 점수를 더 비판적인 시각으로 읽어야 한다는 경각심을 준다.