보기 순서를 섞어도 AI의 쏠림은 남는다
모르는 문제에 C를 찍는 학생처럼, 언어모델도 객관식에서 특정 보기로 쏠립니다. 이 쏠림이 모델 안 어디에서 생기는지 찾은 연구입니다.
핵심 세 줄
- 언어 모델은 객관식 보기에 붙은 기호(A·B·C·D)에 민감하게 반응하여 답변합니다.
- 이 쏠림은 답을 내기 직전이 아니라 모델이 답을 만드는 과정의 앞쪽 60% 안에서, 내용 판단과 함께 생깁니다.
- 보기 순서를 섞어 평균을 내는 흔한 방법은 점수를 고르게 만들 뿐, 이 쏠림은 그대로 둡니다.
모르는 문제가 나오면 C를 찍는 학생이 있습니다. 언어모델에도 비슷한 버릇이 있습니다. 같은 질문과 같은 보기 네 개를 주고 순서만 바꾸면 고르는 답이 달라집니다. AI 성능 시험(벤치마크) 점수가 보기 배치에 따라 오르내린다는 사실은 이미 여러 연구가 보고했습니다.
직접 해보기 · 가상 예시
아침에 가장 자주 마시는 음료는?
- A커피
- A차
- A물
- A주스
모델의 답:
C로 쏠리는 모델은 보기 순서를 돌릴 때마다 다른 음료를 고릅니다. 음료는 그대로인데 답이 바뀝니다. 순서를 섞어 평균을 내면 네 음료가 25%씩 나와 고르게 보이지만, C로 쏠리는 버릇은 그대로입니다.
AI 응답자로 설문을 돌리면 이런 쏠림이 결과에 그대로 나타날 수 있습니다. 설문 문항은 대부분 객관식이고 보기마다 번호나 기호가 붙습니다. 1,000명에게 50문항을 물으면 모델은 객관식을 5만 번 풉니다. 모델이 보기의 내용보다 기호를 보고 답을 고르면 응답 분포 전체가 한쪽으로 치우칩니다. 치우치는 모양은 설문마다 달라서 결과만 봐서는 그것이 모델의 쏠림인지 소비자의 생각인지 구분할 수 없습니다.
지금까지는 보기 순서를 바꿔 여러 번 묻고 평균을 내는 간단한 해결책을 썼습니다. C를 찍는 학생에게 정답을 매번 다른 자리에 놓아 주는 셈입니다. 평균 점수는 그럴듯하게 나오지만 C를 찍는 버릇은 그대로 남습니다. 우리는 이 쏠림이 모델 안 어디에서 생기는지 알고 싶었습니다. 답을 내기 직전에 생긴다면 마지막에 결과를 보정하면 됩니다. 문제를 처리하는 과정에서 생긴다면 마지막 보정은 결과에 드러난 쏠림만 감춥니다.
언어모델은 질문을 수십 개의 층에 차례로 통과시키며 답을 만듭니다. 각 층은 계산한 결과를 다음 층으로 넘깁니다. 우리는 이 계산 결과를 한 층씩 바꿔 끼우는 실험을 했습니다. 실험에는 정답이 있는 시험 문제를 썼습니다. 정답이 있어야 어느 배치에서 맞히고 어느 배치에서 틀리는지 셀 수 있기 때문입니다. 먼저 같은 문항을 네 가지 보기 배치로 묻고 그중 배치에 따라 답이 흔들리는 문항을 모았습니다. 어떤 배치에서는 맞히고 어떤 배치에서는 틀리는 문항으로, 모델과 시험에 따라 다르지만 많게는 1,142문항이었습니다. 그다음 맞힌 배치에서 한 층의 계산 결과를 떼어 내 틀린 배치의 같은 층에 끼워 넣었습니다. 그리고 정답 확률이 얼마나 다시 올라가는지 쟀습니다. 어느 층을 바꿔 끼웠을 때 정답 확률이 다시 올라가면 그 층이 답을 정하는 데 관여했다는 뜻입니다.
한 문항에 맞히는 배치와 틀리는 배치가 여럿이면 가능한 짝을 모두 평균해서 어느 짝을 골랐느냐에 결과가 좌우되지 않게 했습니다. 정답 확률도 세 가지 방식으로 재서 한 가지 계산 방식이 만든 착시가 아닌지 확인했습니다. 실험한 모델은 Llama 3.2, SmolLM3, Qwen3 세 계열이고 시험 문제는 MMLU, ARC-Challenge, HellaSwag 세 가지입니다.
정답 확률을 다시 올린 층은 전체 층의 앞쪽 60% 안에 몰려 있었습니다. 다만 가장 작은 모델(Qwen3 1.7B)은 세 시험 가운데 둘에서 이런 모습을 보이지 않았습니다. 정답 확률을 세 방식으로 재도 결과가 거의 같이 움직였습니다(상관 0.89 이상). 여러 층을 한꺼번에 바꿔 끼워도 마찬가지였습니다.
층 안에는 크게 두 종류의 부품이 있습니다. 하나는 문항의 내용을 처리하는 부품이고 다른 하나는 보기 기호와 내용을 짝짓는 부품입니다. 앞쪽 층에서는 내용을 처리하는 부품이, 중간 층에서는 기호와 내용을 짝짓는 부품이 답을 주도했습니다. 모델이 내용을 먼저 파악하고 그다음 어느 기호가 어느 내용인지 연결하는 순서입니다.
보기 순서를 돌리면 기호와 자리가 함께 바뀝니다. 그래서 둘을 따로 떼어 봤습니다. 내용과 순서는 그대로 두고 기호만 바꿔 붙이기도 하고 기호는 그대로 두고 자리만 바꾸기도 했습니다. 기호만 바꿨을 때는 보기 전체를 돌렸을 때와 거의 같은 결과가 나왔습니다. 자리만 바꿨을 때는 앞쪽 층에 몰리는 모습이 거의 사라졌습니다. 쏠림은 보기의 자리가 아니라 보기에 붙은 기호와 연결돼 있었습니다.
뒤쪽 층에서는 앞쪽 층과 달리 맞힌 배치의 계산 결과를 끼워 넣으면 답이 오히려 더 나빠졌습니다. 뒤쪽 층의 계산 결과는 이미 그 배치에 맞춰 구체적으로 다듬어져 있습니다. 그래서 틀린 배치에 옮겨 넣으면 엉뚱한 보기의 확률을 키웁니다. 맞힌 배치와 틀린 배치의 계산 결과가 얼마나 다른지 재 보니 뒤쪽 층이 앞쪽 층보다 1.8배에서 12.5배 더 달랐습니다. 뒤쪽 층을 바꿔 끼우면 정답 확률은 내려가고 오답 확률은 올라갔습니다. 확률이 올라간 오답은 맞힌 배치에서 정답이 놓여 있던 자리의 보기였습니다.
가장 중요한 결과는 문항 종류별로 비교했을 때 나왔습니다. 정답 확률을 다시 올리는 힘이 앞쪽 층에 몰리는 정도는 답이 흔들리는 문항과 어떻게 배치해도 늘 맞히는 문항에서 차이가 없었습니다. 늘 틀리는 문항에서만 이런 몰림이 보이지 않았습니다. 쏠림만 만드는 층이 따로 있었다면 답이 흔들리는 문항에서만 앞쪽 몰림이 나타났을 것입니다. 앞쪽 층은 모델이 내용을 보고 답을 정하는 곳이고, 기호에 대한 선호는 바로 그 과정에 함께 섞여 들어갑니다. 그래서 마지막에 보기 순서를 섞어도 모델 안의 쏠림은 남고 뒤쪽 층을 손대면 오히려 답이 나빠집니다.
보기 순서를 섞는 일은 여전히 해야 합니다. 결과 수치를 안정시키는 효과는 분명히 있습니다. 다만 그것으로 쏠림이 없어졌다고 봐서는 안 됩니다. 쏠림을 줄이려면 모델 중간에서 기호와 내용을 짝짓는 부분을 겨냥해야 합니다. 그 부분은 내용 판단에도 함께 쓰이기 때문에 통째로 끄면 정답률까지 떨어집니다. 층 단위로는 문항 종류가 구별되지 않았지만, 부품 단위로 좁혀 보면 달랐습니다. 전체 깊이의 61% 근처에 있는 부품 몇 개(어텐션 헤드)가 답이 흔들리는 문항에서만 반응하는 후보로 나타났습니다.
한계도 있습니다. 실험한 모델은 대부분 17억에서 40억 파라미터 크기입니다. 80억 모델은 HellaSwag에서는 같은 모습이 뚜렷했지만 MMLU에서는 약했습니다. ARC-Challenge에서는 이 모델의 답이 흔들리는 문항이 열 개뿐이라 판단할 수 없었습니다. 최신 대형 모델은 실험하지 않았습니다. 쏠림을 전달하는 부품 후보는 찾았지만 그 부품을 고치면 쏠림이 줄어드는지까지는 확인하지 않았습니다. 추가 학습을 거치지 않은 기본 모델은 앞쪽 층에 몰리는 정도가 같은 계열의 학습된 모델보다 낮아서, 모든 모델에서 같은 세기로 나타난다고 보기는 어렵습니다.
연구 방법
- 모델: Llama 3.2 3B Instruct(28층), SmolLM3 3B(36층), Qwen3 1.7B(28층). Qwen3 4B와 8B, 그리고 추가 학습을 거치지 않은 기본 모델은 보조 실험에 썼습니다.
- 시험 문제: MMLU 2,500문항 표본, ARC-Challenge 시험 문항 1,172개 전부, HellaSwag 200문항 표본.
- 분석한 문항: 보기를 네 가지로 돌렸을 때 어떤 배치에서는 맞히고 어떤 배치에서는 틀리는 문항. 맞힌 배치와 틀린 배치의 모든 짝을 평균했습니다.
- 지표: 층마다 맞힌 배치의 계산 결과를 끼워 넣었을 때 정답 확률이 다시 올라가는 정도(논문 용어로 평균 간접 효과). 정답 확률은 네 보기만 놓고 잰 값, 전체 어휘를 놓고 잰 값, 보정 전 점수의 세 가지로 쟀습니다.
- 부품: 층마다 내용을 처리하는 MLP와 기호를 짝짓는 어텐션으로 나눠 봤습니다.
- 통계: 문항을 2,000번 다시 뽑아 95% 구간을 냈습니다. 답이 흔들리는 문항과 늘 맞히는 문항의 차이는 1만 번의 순열 검정으로 봤습니다.
이 연구는 대학 연구진과 함께 했고, 논문은 EMNLP 2026에 실렸습니다. 원문 보기
Key takeaways
- Language models are sensitive to the labels on multiple-choice options when they answer.
- This bias forms within the first 60% of the model’s layers, together with its judgment of the content, well before the answer comes out.
- The usual fix, shuffling the options and averaging, evens out the score but leaves this bias in place.
Some students pick C whenever they do not know the answer. Language models have a similar habit. Give a model the same question with the same four options, change only the order, and it picks a different answer. Several studies have already reported that benchmark scores, the standard tests for AI models, rise and fall with the placement of the options.
Try it · illustrative
Which drink do you have most often in the morning?
- ACoffee
- ATea
- AWater
- AJuice
The model answers:
A model that favors the letter C picks a different drink every time the options rotate. The content is the same; the answer changes. Shuffle and average, and each drink gets 25%: the number looks stable, but the bias is still there.
When you run a survey on AI respondents, this bias can show up directly in the results. Most survey questions are multiple choice, and each option has a number or a letter. Ask 1,000 respondents 50 questions and the model answers 50,000 multiple-choice items. If the model picks by the letter more than by the content, the whole response distribution tilts. The tilt looks different in every survey, so from the results alone you cannot tell whether you are seeing the model’s bias or the consumer’s view.
The usual fix is simple. Ask several times with the options in different orders and average the results. For the student who always picks C, that is like putting the right answer in a different slot each time. The average score looks reasonable, but the student still picks C. We wanted to know where inside the model this bias forms. If it forms just before the answer, correcting the output at the end is enough. If it forms while the model is still working through the question, a correction at the end only hides the bias that shows in the results.
A language model builds its answer by passing the question through dozens of layers in sequence, and each layer hands its result to the next. We swapped these results one layer at a time. We used test questions that have a right answer, because a right answer is what lets us count which arrangements the model gets right and which it gets wrong. First we asked each question in four option arrangements and collected the questions the model got right in some arrangements and wrong in others. The number varied by model and test set, up to 1,142. Then we took one layer’s result from a correct case, inserted it into the same layer of a wrong case, and measured how much of the right answer came back. If swapping a layer brings the right answer back, that layer had a hand in the decision.
When a question had several right and wrong arrangements, we averaged over every possible pair so the result did not depend on which pair we picked. We also measured the probability of the right answer in three ways, to check that one way of counting had not created an illusion. We tested three model families, Llama 3.2, SmolLM3 and Qwen3, on three test sets: MMLU, ARC-Challenge and HellaSwag.
The layers that restored the right-answer probability sat in the first 60% of the model. The smallest model (Qwen3 1.7B), however, did not show this pattern on two of the three test sets. The three ways of measuring moved almost in step (correlation above 0.89), and swapping several layers at once gave the same picture.
The front and middle layers also did different work. Each layer has two main kinds of parts: one processes the content of the question, and the other pairs each option letter with its content. At the front, the content part led the decision. In the middle, the part that pairs letters with content took over. The model first works out the content, then adds which letter goes with which content.
Rotating the options changes the letters and the positions together, so we pulled the two apart. In one condition we kept the content and order and only relabeled the letters. In the other we kept the letters and only moved the positions. Changing only the letters gave almost the same result as rotating everything. Changing only the positions made the front-heavy pattern almost disappear. The bias was tied to the option letter, not to the slot.
The back layers worked the other way. Inserting a correct case’s result into a back layer made the answer worse instead of bringing it back. The results in the back layers are already shaped around that case’s option arrangement, so when they are moved into a case with a different arrangement, they push probability toward the wrong option. When we measured how different the correct and wrong cases’ results were, the back layers differed 1.8 to 12.5 times more than the front layers. Swapping a back layer lowered the probability of the right answer and raised the probability of a wrong one. The option that gained was the one sitting in the slot where the right answer had been in the correct arrangement.
The most important result came from comparing types of questions. How much of the restoring power sat in the front layers was the same for questions whose answer shifts with the arrangement and for questions the model always gets right. Only the questions the model always gets wrong lacked this front-layer concentration. If some layers produced only the bias, the concentration would have appeared only for the shifting questions. The front layers are where the model settles on an answer from the content, and the preference for certain letters mixes into that same process. That is why shuffling the options at the end leaves the bias inside the model, and why changing the back layers makes the answers worse.
Shuffling the options is still worth doing, because it clearly steadies the numbers. It does not show that the bias is gone. Reducing the bias means targeting the part in the middle of the model that pairs letters with content. That part also serves content judgment, so switching it off entirely lowers accuracy as well. At the level of whole layers the question types looked the same, but narrowing down to individual parts showed a difference: a few attention heads near 61% depth emerged as candidates that reacted only on questions whose answer shifted.
The study has limits. Most of the models we tested had 1.7 to 4 billion parameters. An 8-billion-parameter model showed the same pattern clearly on HellaSwag and weakly on MMLU, and on ARC-Challenge this model had only ten shifting questions, too few to judge. We did not test the latest large models. We found candidate parts that carry the bias but did not check whether fixing them reduces it. Base models without post-training showed a weaker front-layer pattern than trained models of the same family, so the pattern may not be equally strong in every model.
Method
- Models: Llama 3.2 3B Instruct (28 layers), SmolLM3 3B (36 layers), Qwen3 1.7B (28 layers). Qwen3 4B and 8B, and base models without post-training, were used in supporting experiments.
- Test sets: a 2,500-question sample of MMLU, all 1,172 ARC-Challenge test questions, and a 200-question sample of HellaSwag.
- Questions analyzed: questions the model got right in some of the four rotations and wrong in others. All right-and-wrong pairs were averaged.
- Measure: how much of the right-answer probability returns when a correct case’s result is inserted into a layer (the paper calls this the average indirect effect). The probability was read three ways: over the four options only, over the full vocabulary, and as the raw score before normalization.
- Parts: each layer was split into the MLP, which processes content, and attention, which pairs letters with content.
- Statistics: 95% intervals from 2,000 resamples of the questions, and 10,000-permutation tests for the difference between shifting questions and always-correct questions.
We did this research with university researchers, and the paper appeared at EMNLP 2026. Read the paper