← 퍼블리케이션

언어모델객관식편향

보기 순서를 섞어도 AI의 쏠림은 남는다

모르는 문제에 C를 찍는 학생처럼, 언어모델도 객관식에서 특정 보기로 쏠립니다. 이 쏠림이 모델 안 어디에서 생기는지 찾은 연구입니다.

EMNLP 2026원문 보기 ↗PDF ↗

핵심 세 줄

  • 언어 모델은 객관식 보기에 붙은 기호(A·B·C·D)에 민감하게 반응하여 답변합니다.
  • 이 쏠림은 답을 내기 직전이 아니라 모델이 답을 만드는 과정의 앞쪽 60% 안에서, 내용 판단과 함께 생깁니다.
  • 보기 순서를 섞어 평균을 내는 흔한 방법은 점수를 고르게 만들 뿐, 이 쏠림은 그대로 둡니다.

모르는 문제가 나오면 C를 찍는 학생이 있습니다. 언어모델에도 비슷한 버릇이 있습니다. 같은 질문과 같은 보기 네 개를 주고 순서만 바꾸면 고르는 답이 달라집니다. AI 성능 시험(벤치마크) 점수가 보기 배치에 따라 오르내린다는 사실은 이미 여러 연구가 보고했습니다.

직접 해보기 · 가상 예시

아침에 가장 자주 마시는 음료는?

  • A커피
  • A차
  • A물
  • A주스

모델의 답:

C로 쏠리는 모델은 보기 순서를 돌릴 때마다 다른 음료를 고릅니다. 음료는 그대로인데 답이 바뀝니다. 순서를 섞어 평균을 내면 네 음료가 25%씩 나와 고르게 보이지만, C로 쏠리는 버릇은 그대로입니다.

AI 응답자로 설문을 돌리면 이런 쏠림이 결과에 그대로 나타날 수 있습니다. 설문 문항은 대부분 객관식이고 보기마다 번호나 기호가 붙습니다. 1,000명에게 50문항을 물으면 모델은 객관식을 5만 번 풉니다. 모델이 보기의 내용보다 기호를 보고 답을 고르면 응답 분포 전체가 한쪽으로 치우칩니다. 치우치는 모양은 설문마다 달라서 결과만 봐서는 그것이 모델의 쏠림인지 소비자의 생각인지 구분할 수 없습니다.

지금까지는 보기 순서를 바꿔 여러 번 묻고 평균을 내는 간단한 해결책을 썼습니다. C를 찍는 학생에게 정답을 매번 다른 자리에 놓아 주는 셈입니다. 평균 점수는 그럴듯하게 나오지만 C를 찍는 버릇은 그대로 남습니다. 우리는 이 쏠림이 모델 안 어디에서 생기는지 알고 싶었습니다. 답을 내기 직전에 생긴다면 마지막에 결과를 보정하면 됩니다. 문제를 처리하는 과정에서 생긴다면 마지막 보정은 결과에 드러난 쏠림만 감춥니다.

언어모델은 질문을 수십 개의 층에 차례로 통과시키며 답을 만듭니다. 각 층은 계산한 결과를 다음 층으로 넘깁니다. 우리는 이 계산 결과를 한 층씩 바꿔 끼우는 실험을 했습니다. 실험에는 정답이 있는 시험 문제를 썼습니다. 정답이 있어야 어느 배치에서 맞히고 어느 배치에서 틀리는지 셀 수 있기 때문입니다. 먼저 같은 문항을 네 가지 보기 배치로 묻고 그중 배치에 따라 답이 흔들리는 문항을 모았습니다. 어떤 배치에서는 맞히고 어떤 배치에서는 틀리는 문항으로, 모델과 시험에 따라 다르지만 많게는 1,142문항이었습니다. 그다음 맞힌 배치에서 한 층의 계산 결과를 떼어 내 틀린 배치의 같은 층에 끼워 넣었습니다. 그리고 정답 확률이 얼마나 다시 올라가는지 쟀습니다. 어느 층을 바꿔 끼웠을 때 정답 확률이 다시 올라가면 그 층이 답을 정하는 데 관여했다는 뜻입니다.

한 문항에 맞히는 배치와 틀리는 배치가 여럿이면 가능한 짝을 모두 평균해서 어느 짝을 골랐느냐에 결과가 좌우되지 않게 했습니다. 정답 확률도 세 가지 방식으로 재서 한 가지 계산 방식이 만든 착시가 아닌지 확인했습니다. 실험한 모델은 Llama 3.2, SmolLM3, Qwen3 세 계열이고 시험 문제는 MMLU, ARC-Challenge, HellaSwag 세 가지입니다.

정답 확률을 다시 올린 층은 전체 층의 앞쪽 60% 안에 몰려 있었습니다. 다만 가장 작은 모델(Qwen3 1.7B)은 세 시험 가운데 둘에서 이런 모습을 보이지 않았습니다. 정답 확률을 세 방식으로 재도 결과가 거의 같이 움직였습니다(상관 0.89 이상). 여러 층을 한꺼번에 바꿔 끼워도 마찬가지였습니다.

-0.1 0 +0.1 앞 2 3 4 5 6 7 8 9 끝 깊이 60% Llama 3.2 3B SmolLM3 3B
전체 층을 열 구간으로 나누고, 맞힌 배치의 계산 결과를 구간마다 끼워 넣었을 때 정답 확률이 얼마나 돌아오는지 쟀습니다. 앞쪽에서 올라갔다가 깊이 60% 근처를 지나면 마이너스로 내려갑니다. Llama 3.2는 MMLU 1,142문항, SmolLM3는 1,031문항의 평균(논문 표 12·13).

층 안에는 크게 두 종류의 부품이 있습니다. 하나는 문항의 내용을 처리하는 부품이고 다른 하나는 보기 기호와 내용을 짝짓는 부품입니다. 앞쪽 층에서는 내용을 처리하는 부품이, 중간 층에서는 기호와 내용을 짝짓는 부품이 답을 주도했습니다. 모델이 내용을 먼저 파악하고 그다음 어느 기호가 어느 내용인지 연결하는 순서입니다.

앞 0~33% 59% 41% 중간 33~66% 24% 76% 뒤 66~100% 57% 43% 내용을 처리하는 부품 기호와 내용을 짝짓는 부품
정답 확률을 다시 올리는 힘을 두 부품으로 나눈 비율입니다. 앞쪽에서는 내용을 처리하는 부품이, 중간에서는 기호와 내용을 짝짓는 부품이 주도합니다. 세 모델 계열 평균(논문 표 5).

보기 순서를 돌리면 기호와 자리가 함께 바뀝니다. 그래서 둘을 따로 떼어 봤습니다. 내용과 순서는 그대로 두고 기호만 바꿔 붙이기도 하고 기호는 그대로 두고 자리만 바꾸기도 했습니다. 기호만 바꿨을 때는 보기 전체를 돌렸을 때와 거의 같은 결과가 나왔습니다. 자리만 바꿨을 때는 앞쪽 층에 몰리는 모습이 거의 사라졌습니다. 쏠림은 보기의 자리가 아니라 보기에 붙은 기호와 연결돼 있었습니다.

보기 전체를 돌림 0.73 0.67 기호만 바꿈 0.62 0.63 자리만 바꿈 0.05 0.11 MMLU HellaSwag 앞쪽 60% 층에 몰린 비율
정답 확률을 다시 올리는 힘 가운데 앞쪽 60% 층에 몰린 비율(Qwen3 4B, 논문 표 4). 기호만 바꾸면 보기 전체를 돌렸을 때와 거의 같고, 자리만 바꾸면 거의 사라집니다. 쏠림은 자리가 아니라 기호와 연결돼 있습니다.

뒤쪽 층에서는 앞쪽 층과 달리 맞힌 배치의 계산 결과를 끼워 넣으면 답이 오히려 더 나빠졌습니다. 뒤쪽 층의 계산 결과는 이미 그 배치에 맞춰 구체적으로 다듬어져 있습니다. 그래서 틀린 배치에 옮겨 넣으면 엉뚱한 보기의 확률을 키웁니다. 맞힌 배치와 틀린 배치의 계산 결과가 얼마나 다른지 재 보니 뒤쪽 층이 앞쪽 층보다 1.8배에서 12.5배 더 달랐습니다. 뒤쪽 층을 바꿔 끼우면 정답 확률은 내려가고 오답 확률은 올라갔습니다. 확률이 올라간 오답은 맞힌 배치에서 정답이 놓여 있던 자리의 보기였습니다.

가장 중요한 결과는 문항 종류별로 비교했을 때 나왔습니다. 정답 확률을 다시 올리는 힘이 앞쪽 층에 몰리는 정도는 답이 흔들리는 문항과 어떻게 배치해도 늘 맞히는 문항에서 차이가 없었습니다. 늘 틀리는 문항에서만 이런 몰림이 보이지 않았습니다. 쏠림만 만드는 층이 따로 있었다면 답이 흔들리는 문항에서만 앞쪽 몰림이 나타났을 것입니다. 앞쪽 층은 모델이 내용을 보고 답을 정하는 곳이고, 기호에 대한 선호는 바로 그 과정에 함께 섞여 들어갑니다. 그래서 마지막에 보기 순서를 섞어도 모델 안의 쏠림은 남고 뒤쪽 층을 손대면 오히려 답이 나빠집니다.

보기 순서를 섞는 일은 여전히 해야 합니다. 결과 수치를 안정시키는 효과는 분명히 있습니다. 다만 그것으로 쏠림이 없어졌다고 봐서는 안 됩니다. 쏠림을 줄이려면 모델 중간에서 기호와 내용을 짝짓는 부분을 겨냥해야 합니다. 그 부분은 내용 판단에도 함께 쓰이기 때문에 통째로 끄면 정답률까지 떨어집니다. 층 단위로는 문항 종류가 구별되지 않았지만, 부품 단위로 좁혀 보면 달랐습니다. 전체 깊이의 61% 근처에 있는 부품 몇 개(어텐션 헤드)가 답이 흔들리는 문항에서만 반응하는 후보로 나타났습니다.

한계도 있습니다. 실험한 모델은 대부분 17억에서 40억 파라미터 크기입니다. 80억 모델은 HellaSwag에서는 같은 모습이 뚜렷했지만 MMLU에서는 약했습니다. ARC-Challenge에서는 이 모델의 답이 흔들리는 문항이 열 개뿐이라 판단할 수 없었습니다. 최신 대형 모델은 실험하지 않았습니다. 쏠림을 전달하는 부품 후보는 찾았지만 그 부품을 고치면 쏠림이 줄어드는지까지는 확인하지 않았습니다. 추가 학습을 거치지 않은 기본 모델은 앞쪽 층에 몰리는 정도가 같은 계열의 학습된 모델보다 낮아서, 모든 모델에서 같은 세기로 나타난다고 보기는 어렵습니다.

연구 방법

  • 모델: Llama 3.2 3B Instruct(28층), SmolLM3 3B(36층), Qwen3 1.7B(28층). Qwen3 4B와 8B, 그리고 추가 학습을 거치지 않은 기본 모델은 보조 실험에 썼습니다.
  • 시험 문제: MMLU 2,500문항 표본, ARC-Challenge 시험 문항 1,172개 전부, HellaSwag 200문항 표본.
  • 분석한 문항: 보기를 네 가지로 돌렸을 때 어떤 배치에서는 맞히고 어떤 배치에서는 틀리는 문항. 맞힌 배치와 틀린 배치의 모든 짝을 평균했습니다.
  • 지표: 층마다 맞힌 배치의 계산 결과를 끼워 넣었을 때 정답 확률이 다시 올라가는 정도(논문 용어로 평균 간접 효과). 정답 확률은 네 보기만 놓고 잰 값, 전체 어휘를 놓고 잰 값, 보정 전 점수의 세 가지로 쟀습니다.
  • 부품: 층마다 내용을 처리하는 MLP와 기호를 짝짓는 어텐션으로 나눠 봤습니다.
  • 통계: 문항을 2,000번 다시 뽑아 95% 구간을 냈습니다. 답이 흔들리는 문항과 늘 맞히는 문항의 차이는 1만 번의 순열 검정으로 봤습니다.

이 연구는 대학 연구진과 함께 했고, 논문은 EMNLP 2026에 실렸습니다. 원문 보기

다른 자료