합성 응답자는 비판을 아낀다
신제품 컨셉 호감 70%는 소비자의 마음일까요, 모델의 예의일까요. AI 응답자가 부정적인 답을 사람과 다르게 고르는 버릇을 재고, 사람 응답으로 모델을 학습하지 않고 바로잡은 연구입니다.
핵심 세 줄
- AI가 흉내 낸 응답자는 걱정은 사람보다 많이 합니다. 반면 제품이나 기관을 비판할 때는 사람보다 약하게 합니다.
- “부정적인 답을 누그러뜨리지 말라”는 지시를 넣으면 모든 답이 같은 방향으로 밀립니다. 그래서 응답 분포가 사람에게서 오히려 멀어집니다.
- 비판적으로 답하는 가상 응답자를 만들어 그 답으로 모델을 따로 학습시킨 뒤, 이 모델의 응답을 원래 모델의 응답과 정해진 비율로 섞었습니다. 섞은 응답은 7개 모델과 4개 설문 전부에서 사람의 응답 분포에 더 가까워졌습니다.
손님으로 간 집에서 음식 맛을 물으면 대부분 “맛있다”고 답합니다. 좀 짜도 그렇습니다. 사람의 말을 배운 언어모델은 여기서 한술 더 뜹니다. 친절하게 답하도록 따로 훈련까지 받았기 때문으로 보입니다. 합성 응답자로 설문을 미리 돌려 볼 때는 이 점부터 의심해야 합니다. 신제품 컨셉 호감도가 70%로 나왔는데 그 70%가 소비자의 마음인지 모델의 예의인지 가릴 수 없다면, 그 조사는 쓸 수 없습니다. 우리는 이 예의가 얼마나 되는지 재고 이를 걷어 내는 연구를 했습니다.
먼저 재는 방법부터 바꿨습니다. 흔히 쓰는 방법으로는 부정적인 보기를 고른 비율을 숫자 하나로 셉니다. 그런데 부정적인 답에도 종류가 있습니다. 어떤 제품이 위험하다고 평가하는 것, 생활비가 걱정된다고 말하는 것, 어떤 사회 문제가 심각하다고 답하는 것은 서로 다른 이야기입니다. 이것을 숫자 하나로 합치면 사람보다 덜 부정적인 문항과 더 부정적인 문항이 서로 상쇄돼 차이가 없는 것처럼 보입니다.
그래서 문항을 뜻에 따라 세 가지로 나눴습니다. 무언가를 평가하는 문항, 자기 걱정을 말하는 문항, 사회 문제가 얼마나 심각한지 묻는 문항입니다. 그리고 두 가지를 따로 쟀습니다. 하나는 부정적인 보기를 얼마나 자주 고르는지, 다른 하나는 얼마나 센 보기를 고르는지입니다. “약간 불만”과 “매우 불만”은 둘 다 부정 응답이지만 조사 결과에서 뜻하는 바는 크게 다릅니다. 세기는 가장 부정적인 보기를 +1, 가장 긍정적인 보기를 −1로 놓고 응답이 평균적으로 어디쯤 있는지로 쟀습니다.
미국 여론조사(OpinionQA)를 이렇게 나눠 보니 모델이 어디서 사람과 다른지가 드러났습니다. 자기 걱정과 사회 문제를 묻는 문항에서는 실험한 7개 모델이 모두 사람보다 부정적이었습니다. 제품이나 기관을 평가하는 문항에서는 모습이 달랐습니다. 다섯 모델은 부정적인 보기를 사람보다 자주 골랐습니다. 그런데 고른 보기의 세기를 보면 여섯 모델이 사람보다 약했습니다. 부정적인 보기를 자주 고르면서도 전체적으로는 사람보다 덜 센 쪽에 답한 것입니다. 모델은 걱정은 많이 하고 비판은 아꼈습니다. 손님의 예의와 같은 방향입니다. 이유도 짐작할 수 있습니다. 비판을 누그러뜨리는 것과 걱정을 선뜻 털어놓는 것은 둘 다 사회적으로 무난한 답입니다.
설문에 따라서도 달랐습니다. 국가와 지도자를 묻는 국제 여론조사에서는 대부분의 모델이 사람보다 부정적이었습니다. 제도 신뢰나 건강을 묻는 설문에서는 평균적으로 차이가 작았습니다. 숫자 하나로 뭉뚱그렸다면 이렇게 방향이 다른 오차들이 서로 지워져 문제가 없어 보였을 것입니다.
지시를 더하는 게 가장 쉬운 해결책이라 실제로 이런 지시를 넣어 봤습니다. “부정적인 답을 피하거나 누그러뜨리지 마라.” 평균적인 부정의 세기는 사람 수준에 가까워졌습니다. 그런데 응답 분포 전체는 4개 설문 모두에서 사람과 더 멀어졌습니다. 이 지시를 넣으면 문항의 뜻과 상관없이 모든 답이 같은 방향으로 밀리기 때문입니다. 사람보다 덜 비판적이던 평가 문항은 사람에 가까워집니다. 하지만 이미 사람보다 걱정이 많던 문항은 더 멀어집니다. 두 번째 지시에는 “실제 응답자는 강한 부정도 자주 고른다”는 문장을 덧붙였습니다. 이 지시는 첫 번째 지시보다도 사람에게서 더 멀어졌습니다.
우리는 섞기라는 방법을 택했습니다. 먼저 비판적인 학습용 가상 응답자들을 만들었습니다. 이들이 여러 주제의 설문에 답한 합성 데이터만으로 모델을 추가 학습했습니다. 학습에는 사람의 실제 설문 응답을 한 건도 쓰지 않았습니다.
합성 데이터를 만들 때는 언어모델에게 교사 역할을 맡겼습니다. 이 교사 모델이 소비재부터 공공 서비스, 정치와 가치관까지 여섯 분야에서 설문 주제를 정하고 현장에서 실제로 쓰는 형태의 설문지를 썼습니다. 그다음 학습용 가상 응답자를 만들었습니다. 응답자마다 직업과 배경, 구체적인 불만을 정해 두고 부정적인 태도를 약하게 또는 강하게 줬습니다. 최종 응답은 두 수준이 반반이 되게 맞췄습니다. 응답자마다 불만의 내용이 구체적으로 정해져 있으면 문항마다 답이 달라집니다. 가장 부정적인 보기만 계속 고르는 일도 생기지 않습니다. 이렇게 모은 응답은 2만 3천여 건이었습니다. 여기서 1만 5천 건을 골라 학습 예시 5천 개를 만들었습니다. 7개 모델에는 모두 같은 예시와 같은 설정으로 가벼운 추가 학습을 했습니다.
OpinionQA에서 재 보니 이렇게 만든 모델은 예상대로 사람보다 비판적인 쪽으로 기울었고, 원래 모델은 너그러운 쪽으로 기울어 있었습니다. 두 모델은 사람을 기준으로 서로 반대 방향으로 벗어나 있었습니다.
그다음 두 모델이 내놓은 응답 분포를 정해진 비율로 섞었습니다. 섞은 분포는 사람의 응답 근처에 놓였습니다. 모델 자체가 아니라 두 모델이 낸 응답 분포를 섞으므로 다시 학습할 필요가 없습니다. 비율은 비판적인 모델의 응답을 얼마나 섞을지를 뜻합니다. 0이면 원래 모델만, 1이면 비판적인 모델만 씁니다. 이 비율은 OpinionQA에서 0.55로 정했고, 나머지 세 설문에는 그대로 썼습니다.
실험에는 파라미터 크기가 120억에서 320억인 공개 모델 7개를 썼습니다. 설문은 미국 여론조사와 국제 여론조사를 합쳐 4종입니다. 미국 인구 구성에 맞춘 가상 응답자 500명이 이 설문에 답했습니다. 사람 응답과 얼마나 다른지는 두 응답 분포 사이의 거리로 쟀습니다. 섞은 분포에서는 이 거리가 원래 모델보다 34~45% 줄었습니다. 7개 모델과 4개 설문을 짝지은 28개 조합 전부에서 섞은 분포가 원래 모델과 추가 학습 모델 둘 다보다 사람에 가까웠습니다. 두 번째 거리 지표는 얼마나 크게 빗나갔는지까지 따집니다. ’매우 불만’을 ’약간 불만’으로 답한 것과 ’매우 만족’으로 답한 것을 다르게 셉니다. 이 지표로 재도 28개 중 26개 조합에서 둘 다보다 가까웠습니다.
흔히 쓰는 사후 통계 보정과도 비교했습니다. 그중 가장 강한 것은 응답 분포를 고르게 펴 주는 온도 조정이었습니다. OpinionQA(비율을 정한 설문)와 GlobalOpinionQA에서는 온도 조정이 섞기보다 사람에 가까웠습니다. 하지만 비율을 정할 때 쓰지 않은 세 설문을 평균하면 섞기가 13% 더 가까웠습니다. 지시문과 비율을 사람 데이터에 맞춰 최적화한 조건과도 견줘 봤습니다. 이때도 모델별 비교 56번 가운데 49번은 섞기가 사람에 더 가까웠습니다.
섞는 비율은 아래에서 직접 움직여 볼 수 있습니다.
직접 해보기 · 섞는 비율
거리
사람과의 거리는 0.55 근처에서 가장 짧고, 0.45~0.65 사이에서는 거의 변하지 않습니다. 곡선은 비율 0, 0.55, 1일 때의 네 설문 평균 세 개를 이어 그린 근사치이고, 비율별 실제 값은 논문 그림 4(a)에 있습니다.
모델마다 가장 좋은 비율은 0.30에서 0.75 사이로 달랐습니다. 그래도 비율을 0.55 하나로 정해 섞자 7개 모델 모두 사람에 가까워졌습니다. 0.45와 0.65 사이에서는 거리가 거의 변하지 않아서 비율을 정밀하게 맞출 필요도 없습니다.
보정의 기준은 실제 사람의 응답입니다. 이 기준에 맞추려면 재는 단계에서 문항을 뜻에 따라 나눠 봐야 합니다. 한 설문에서 맞춘 보정이 다른 설문에서도 통하는지도 확인해야 합니다. 인텔리시아는 합성소비자의 부정 응답을 이 기준으로 점검합니다.
한계도 있습니다. 실험한 모델은 120억~320억 파라미터의 공개 모델 7개이고 가상 응답자는 미국 인구 구성을 따랐습니다. 다른 나라 응답자를 흉내 낼 때도 같은 비율이 통하는지는 확인하지 않았습니다. 비율은 모든 응답을 만들어 둔 뒤에 OpinionQA에서 골랐습니다. 그래서 다른 설문에 옮겨 쓴 결과는 사후 확인에 가깝습니다. 학습 데이터는 교사 모델 하나가 만들었습니다. 비판적인 모델은 원래 모델에 가벼운 추가 모듈(어댑터)을 얹은 것이라 섞으려면 두 모델의 응답이 모두 필요합니다.
연구 방법
- 모델: Gemma 4 12B, Gemma 4 31B, Qwen 3.6 27B, Phi 4 14B, Mistral Small 24B, gpt-oss 20B, EXAONE 4.0.1 32B. 7개 모두 같은 학습 예시와 설정으로 어댑터를 얹었습니다.
- 가상 응답자: 나이·성별·지역·학력·소득의 미국 인구 구성에 맞춘 500명. 태도는 따로 주지 않아서 의견은 모델이 스스로 냅니다. 한 번에 10명이 10문항에 답합니다. 문항마다 50묶음 500개의 답으로 분포를 만듭니다.
- 거리 지표: 사람 응답 분포와의 거리는 JS 발산(Jensen-Shannon divergence)으로 쟀습니다. 보기 사이의 간격까지 따지는 정규화 Wasserstein 거리도 함께 봤습니다.
- 비교 기준: 사람 응답 분포. 사람 데이터는 프롬프트에 넣지 않았고 섞는 비율을 정할 때만 썼습니다.
| 설문 | 출처 | 문항 수 | 내용 |
|---|---|---|---|
| OpinionQA | Pew ATP(미국) | 92 | 위험, 걱정 |
| GlobalOpinionQA | Pew Global, WVS | 238 | 국가, 지도자, 위협 |
| GSS | NORC | 27 | 제도 신뢰, 가치관 |
| ISSP | 40개국 | 233 | 건강, 환경, 일 |
이 연구는 논문으로 정리했습니다.
Key takeaways
- Respondents simulated by AI worry more than people do, and criticize products and institutions more mildly.
- An instruction such as “do not soften negative answers” pushes every answer the same way, so the response distribution moves further from people.
- We trained a second model on the answers of critical synthetic respondents, then mixed its answers with the original model’s at a fixed weight. The mixture was closer to people for all 7 models on all 4 surveys.
When you are a guest and the host asks how the food tastes, you usually say it is good, even if it is a bit salty. Language models learned from human speech, and they go one step further, likely because they were also trained to answer politely. When you test a survey on synthetic respondents, this is the first thing to suspect. If a new product concept scores 70% liking and you cannot tell whether that 70% is the consumer’s view or the model’s manners, the survey is of no use. We set out to measure this politeness and remove it.
We started by changing how it is measured. The usual method counts the share of negative options chosen as a single number. But negative answers come in different kinds. Rating a product as risky, saying you worry about the cost of living, and calling a social problem serious are different statements. Combine them into one number, and items where the model is less negative than people offset items where it is more negative, so it looks as if there is no difference.
So we split the items by meaning into three groups: items that evaluate something, items about one’s own worries, and items about how serious a social problem is. We then measured two things separately: how often the model chooses a negative option, and how strong the option it chooses is. “Somewhat dissatisfied” and “very dissatisfied” are both negative answers, but they mean very different things in a survey result. Strength was measured by setting the most negative option to +1 and the most positive to −1 and finding where the answers sit on average.
Splitting the U.S. poll (OpinionQA) this way showed where the models differ from people. On items about personal worries and social problems, all 7 models tested were more negative than people. On items evaluating products or institutions, the picture was different. Five models chose negative options more often than people did, but in six models the answers were weaker in strength. They picked negative options often, yet overall their answers sat on the milder side. They worry more and hold back criticism, which is the same direction as a guest’s manners. The reason is easy to guess: softening criticism and readily voicing worry are both socially safe answers.
Results also differed by survey. On the international poll about countries and leaders, most models were more negative than people, while on surveys about trust in institutions or health the gap was small on average. Lumped into one number, these errors in opposite directions would have canceled each other out, and the models would have looked fine.
The easiest fix is to add an instruction: “Do not avoid or soften negative answers.” We tried it. The average strength of negativity moved close to the human level. But the overall response distribution moved further from people on all 4 surveys. The instruction pushes every answer the same way, whatever the item means. Evaluation items, where the model was less critical than people, get closer to people, but items where the model already worried more than people move further away. A second instruction that added “real respondents often choose strongly negative answers too” moved even further away than the first.
Our approach was to mix. First we created critical synthetic respondents for training and fine-tuned a model only on synthetic data from their answers to surveys on many topics. No human survey responses were used for training.
A language model acting as a teacher picked survey topics in six areas, from consumer goods and public services to politics and values, and wrote questionnaires in the form actually used in the field. It then created training respondents with jobs, backgrounds and specific complaints. Each respondent was given a mildly or strongly negative attitude, and the final answers were balanced half and half between the two levels. When each respondent has specific complaints, the answers vary from item to item, and the respondent does not keep picking the most negative option. From more than 23,000 answers collected this way, we selected 15,000 to build 5,000 training examples, and gave all 7 models the same light fine-tuning with the same examples and settings.
Measured on OpinionQA, the resulting model leaned more critical than people, as expected, while the original model leaned lenient. The two models missed people in opposite directions.
We then mixed the two models’ response distributions at a fixed weight, and the result landed near the human answers. What gets mixed is the response distributions the two models produce, not the models themselves, so no retraining is needed. The weight is how much of the critical model’s answers goes into the mix: 0 means the original model only, and 1 means the critical model only. It was set to 0.55 on OpinionQA and reused unchanged on the other three surveys.
The experiment used 7 open models of 12 to 32 billion parameters and 4 U.S. and international opinion surveys, answered by 500 synthetic respondents matched to the U.S. population. How far the answers were from people was measured as the distance between the two response distributions. The mixture cut this distance by 34 to 45% compared with the original model, and it was closer to people than both the original and the fine-tuned model in all 28 combinations of the 7 models and 4 surveys. A second distance measure also counts how far off an answer is, so answering “very dissatisfied” as “somewhat dissatisfied” counts less than answering it as “very satisfied”. On this measure, the mixture beat both in 26 of 28.
We also compared mixing with common after-the-fact statistical corrections. The strongest of them was temperature adjustment, which flattens the response distribution. On OpinionQA (the survey used to choose the weight) and on GlobalOpinionQA, temperature adjustment was closer to people than mixing. But averaged over the three surveys not used to choose the weight, mixing was 13% closer. Against conditions where the instructions and the weight were tuned on human data, mixing was closer to people in 49 of 56 model-level comparisons.
You can move the mixing weight yourself below.
Try it · mixing weight
distance
The distance is shortest near 0.55 and barely moves between 0.45 and 0.65. The curve is an approximation drawn through three four-survey means (weights 0, 0.55 and 1); the paper's Figure 4a has the measured value for each weight.
The best weight for each model ranged from 0.30 to 0.75, but the single weight of 0.55 brought all 7 models closer to people. Between 0.45 and 0.65 the distance barely changes, so the weight does not need precise tuning.
Calibration is measured against real people’s answers. Matching them means splitting items by meaning when measuring, and checking that a correction set on one survey also works on others. Intellicia checks the negative answers of its synthetic consumers against this standard.
The study has limits. We tested 7 open models of 12 to 32 billion parameters, and the synthetic respondents followed the U.S. population. We did not check whether the same weight works when simulating respondents from other countries. The weight was chosen on OpinionQA after all answers had been generated, so the transfer to the other surveys was checked after the fact. A single teacher model generated the training data. The critical model is the original model with a small add-on module (an adapter), so mixing needs answers from both models.
Method
- Models: Gemma 4 12B, Gemma 4 31B, Qwen 3.6 27B, Phi 4 14B, Mistral Small 24B, gpt-oss 20B, EXAONE 4.0.1 32B. All 7 received the adapter with the same examples and settings.
- Synthetic respondents: 500, matched to the U.S. population on age, sex, region, education and income. No attitudes are given, so the opinions come from the model itself. Ten respondents answer ten items per prompt, and each item’s distribution is built from 500 answers in 50 batches.
- Distance: distance from the human response distribution was measured with Jensen-Shannon (JS) divergence, plus a normalized Wasserstein distance that also accounts for the spacing between options.
- Reference: the human response distribution. Human data never entered a prompt and was used only to choose the mixing weight.
| Survey | Source | Items | Content |
|---|---|---|---|
| OpinionQA | Pew ATP (U.S.) | 92 | risk, worry |
| GlobalOpinionQA | Pew Global, WVS | 238 | countries, leaders, threats |
| GSS | NORC | 27 | trust in institutions, values |
| ISSP | 40 countries | 233 | health, environment, work |
We wrote this research up as a paper.