ทันเอไอ

연구 결과: 프롬프트 형식 변경만으로 AI 점수 수십% 요동, 벤치마크 신뢰도 영향

여러 연구에 따르면 AI 업계의 큰 문제가 드러났다. 대규모 언어 모델(LLM)이 내용과 핵심 의미가 동일하더라도 명령어(프롬프트) 형식만 다르면 극단적으로 다른 성능을 보인다는 것이다.

AI 모델 벤치마크의 신뢰성 문제가 연구 분야에서 다시 논쟁의 중심에 섰다. 동일한 질문을 사용하더라도 제목, 구분선 사용, 예시의 순서 변경 등 프롬프트 형식(Prompt Formatting)을 바꾸는 것만으로도 대규모 언어 모델(LLM)의 정확도 점수가 크게 달라질 수 있다는 명확한 증거가 나타났기 때문이다.

이 현상은 '형식 민감성'(Format Sensitivity)이라고 불리며 최근 여러 연구를 통해 확인되었다. 예를 들어, Sclar et al. (2024)의 연구에서는 LLaMA-2-13B 모델이 퓨샷(few-shot) 과제에서 프롬프트 형식을 약간만 변경해도 정확도 점수가 최대 76% 포인트 차이를 보였다. 또 다른 조사에서는 GPT-3.5 모델이 53개 작업 유형에 걸쳐 320가지 다른 프롬프트 형식으로 테스트했을 때 점수 변동 폭이 56% 포인트에 달했으며, 변동성의 중앙값은 6.4% 포인트였다. 이는 리더보드 순위를 바꿀 수 있을 만큼 높은 수치이다.

이 문제는 단순히 답변의 정확성(정오)에만 국한되지 않고, 정해진 구조를 준수하는 능력(Schema Compliance)에도 영향을 미친다. 예를 들어, 모델이 올바른 JSON 데이터 형식으로 응답하도록 지시하는 경우, 연구에 따르면 작업의 복잡성과 사용되는 모델에 따라 성공률이 0%에서 100%까지 크게 변동할 수 있다.

이 주제가 많은 관심을 받고 수많은 연구로 뒷받침되고 있지만, 'ทันเอไอ' 취재팀은 초기 정보원 중 하나인 "Format Sensitivity Index"라는 학술 논문이 현재 arXiv 데이터베이스에서 그 존재를 확인할 수 없었음을 발견했다. 그럼에도 불구하고, 프롬프트 형식 민감성 문제는 업계에서 널리 인정받고 있으며, 더욱 안정적이고 신뢰할 수 있는 AI 평가 방법을 개발하기 위해 심층적으로 연구되고 있다.