합성소비자와 실제 소비자, 응답이 정말 비슷한지 어떻게 확인할까
합성소비자의 응답이 실제 소비자와 얼마나 닮았는지 재는 다섯 가지 지표와 사람끼리의 기준선, 그리고 결론의 방향과 응답자 한 명의 정합성까지 보는 두 지표를 설명합니다.
합성소비자(Synthetic Consumer) 기술의 핵심은 합성소비자가 내놓은 응답이 실제 소비자의 응답과 얼마나 비슷한지 검증하는 데 있습니다. 해외 논문이나 기업은 두 응답의 유사성을 비교할 때 주로 스피어만 상관계수(Spearman Correlation)를 씁니다.
인텔리시아는 더 꼼꼼하게 검증하기 위해, 응답의 여러 특성을 반영하는 다섯 가지 지표를 함께 씁니다. 이 글에서는 그 지표들을 하나씩 설명합니다.
종합 유사도를 이루는 다섯 가지 지표
설문의 모든 문항에서, 합성소비자와 실제 소비자가 각 보기를 고른 비율이 얼마나 다른지 분석해 유사도를 잽니다.
1. JS 유사도 (Jensen-Shannon Similarity)
“응답 분포의 모양이 얼마나 같은가?”
합성소비자의 응답 분포가 실제 소비자의 응답 분포와 얼마나 닮았는지 잽니다. 예전에 쓰이던 방식(KL 발산)의 단점을 보완해, 두 분포가 닮은 정도를 0과 1 사이 숫자로 알기 쉽게 나타냅니다. 값이 높을수록 합성소비자가 한쪽으로 치우치지 않고 실제 사람들의 전체 응답 분포를 가깝게 재현했다는 뜻입니다.
2. 스피어만 상관계수 (Spearman Correlation)
“보기 사이의 순위를 맞혔는가?”
응답의 구체적인 수치보다 ’순위’가 맞는지 보는 지표입니다. 소비자 조사에서는 정확한 응답 비율만큼이나 “A보다 B를 더 좋아한다”는 서열이 중요한 경우가 많습니다. 스피어만 상관계수는 합성소비자가 제품이나 속성 사이의 우열과 선호 순위를 얼마나 잘 따라갔는지 평가하는 데 알맞습니다.
3. 피어슨 상관계수 (Pearson Correlation)
“수치가 움직이는 방향과 크기가 같은가?”
두 변수의 선형 관계를 보는 가장 대표적인 통계 지표입니다. 실제 소비자의 응답률이 높은 보기는 합성소비자도 높게, 낮은 보기는 낮게 답하는지 봅니다. 스피어만이 ’순서’를 본다면 피어슨은 ’값의 추세’를 봅니다. 예를 들어 실제 소비자의 선택 비율이 10%에서 20%로 늘 때 합성소비자도 그만큼 늘어나는지 확인합니다. 이 점수가 높다면 합성소비자가 실제 소비자의 응답 변화를 그대로 따라가고 있다는 뜻입니다.
4. 1 − MAE (평균 절대 오차를 정확도로 바꾼 값)
“평균적으로 오차가 얼마나 작은가?”
평균 절대 오차(MAE)는 추정값과 실제값의 차이가 평균 얼마인지 나타냅니다. 이 오차를 ’정확도’로 바꿔(1에서 빼서) 씁니다. 합성소비자의 응답이 실제 소비자 응답과 평균적으로 얼마나 가까운지 바로 보여 줍니다.
5. 1 − RMSE (평균 제곱근 오차를 정확도로 바꾼 값)
“크게 빗나간 답 없이 정밀한가?”
평균 제곱근 오차(RMSE)는 오차를 제곱해서 계산하므로, 큰 오차가 하나라도 있으면 값이 크게 뜁니다. 이를 정확도로 바꿔 쓰면, 평균만 비슷한 것이 아니라 ’실제와 동떨어진 엉뚱한 응답’이 얼마나 적은지 알 수 있습니다. 이 값이 높다면 합성소비자가 전반적인 패턴을 맞출 뿐 아니라 튀는 값 없이 정밀하게 답했다는 뜻입니다.
사람끼리 같은 조사를 두 번 하면 얼마나 비슷할까
이를 확인하려고 120명이 참여한 실제 소비자 조사 데이터를 썼습니다. 인구통계 특성을 똑같이 맞춘 두 그룹(60명씩)으로 무작위로 나눠, 같은 조사를 두 번 한 것처럼 놓고 비교했습니다.
그 결과 실제 사람끼리 비교한 종합 유사도는 약 0.93이었습니다. 실제 소비자에게 같은 조사를 두 번 해도 응답이 100% 같을 수는 없고, 93% 정도 비슷하다는 뜻입니다.

집단의 비율 너머를 보는 두 지표
2026년 10월에 덧붙인 내용입니다.
위의 다섯 가지 지표는 모두 합성소비자 전체가 각 보기를 고른 비율과 순위를 실제 소비자 전체와 견주는 집단 단위 지표입니다. 해외 논문에서 주로 쓰는 스피어만 상관계수나 JS 유사도도 마찬가지입니다.
비율과 순위가 비슷한지만 보면 놓치는 것이 있습니다. 그래서 인텔리시아는 결론의 방향과 응답자 한 명 단위의 정합성까지 함께 봅니다.
방향 일치도 (Finding Agreement Index)
“조사 결과가 가리키는 방향이 같은가?”
문항마다 비율이 비슷해도 결론은 반대일 수 있습니다. 예를 들어 가격을 보여 준 뒤 실제 소비자의 구매 의향은 3.8점에서 3.5점으로 내려가는데, 합성소비자는 3.6점에서 3.7점으로 오를 수 있습니다. 분포는 비슷해 보여도 “가격을 보면 구매 의향이 떨어진다”는 결론은 정반대가 됩니다.
방향 일치도는 이런 비교를 하나하나 ’규칙’으로 정해 두고, 합성소비자가 실제 소비자와 같은 방향으로 답한 규칙의 비율을 잽니다. 차이의 크기는 위의 지표들이 보고, 방향 일치도는 방향만 봅니다. 규칙은 응답을 보기 전에 AI 에이전트가 설문지만 보고 제안하고, 연구원이 확정합니다. 어느 한쪽에 유리한 비교만 고르지 않기 위해서입니다. 어느 쪽이 맞는 방향인지는 실제 소비자의 응답으로 정합니다.
응답 정합성 (Individual Coherence Index)
“응답자 한 명의 답이 실제 사람처럼 서로 맞물리는가?”
집단의 비율만 보면, 문항마다 비율은 맞아도 한 사람 안에서는 답이 따로 노는 응답이 높은 점수를 받을 수 있습니다.
실제 사람의 답은 서로 맞물려 있습니다. 예를 들어 잠들기 어렵다고 답한 사람이 수면 추적 기기에도 관심이 많다고 답하는 식입니다. 응답 정합성은 5점 척도처럼 점수로 답하는 문항을 두 개씩 짝짓고, 실제 소비자에게서 연결이 뚜렷한 짝마다 합성소비자에게서도 같은 방향의 연결이 나타나는지 확인합니다.
점수는 0과 1 사이입니다. 1이면 확인한 짝이 모두 실제 소비자와 같은 방향으로 완전히 맞물려 있다는 뜻입니다. 0.5는 문항끼리 아무 연결이 없는 상태로, 사람마다 답을 무작위로 고른 것과 같습니다. 0.5보다 낮으면 실제와 반대 방향으로 맞물린 짝이 많다는 뜻입니다. 실제 사람의 응답도 1이 되지는 않기 때문에, 같은 조사의 실제 소비자 수준과 견줘 봅니다.
인텔리시아는 집단의 비율과 순위, 결론의 방향, 응답자 한 명의 정합성까지 함께 보면서 합성소비자가 실제 소비자의 응답 패턴에 최대한 가까워지도록 기술을 다듬고 있습니다.
The core task in synthetic consumer technology is checking how similar synthetic consumers’ answers are to real consumers’ answers. Papers and companies outside Korea mostly use Spearman correlation to compare the two sets of answers.
To check more thoroughly, Intellicia uses five measures together. Each one looks at a different feature of the answers.
Five measures that make up overall similarity
For every question in a survey, we compare the share of synthetic consumers and the share of real consumers who chose each option, and measure how much they differ.
1. JS similarity (Jensen-Shannon similarity)
“How alike is the shape of the answer distribution?”
This measures how closely the synthetic consumers’ answer distribution resembles the real consumers’. It fixes a weakness of an older method (KL divergence) and gives the result as an easy-to-read number between 0 and 1. A higher value means the synthetic consumers’ answers did not lean to one side and came close to the full distribution of real people’s answers.
2. Spearman correlation
“Did it get the ranking of the options right?”
This measure checks only whether the options are in the right order, without looking at the exact numbers. In consumer research, an order such as “people like B more than A” often matters as much as the exact answer shares. Spearman correlation is well suited to judging how closely synthetic consumers followed the real order of preference among products or features.
3. Pearson correlation
“Do the numbers move in the same direction and by the same amount?”
This is the most common statistical measure of a linear relationship between two variables. It checks whether synthetic consumers give high shares to the options real consumers chose often, and low shares to the ones they chose rarely. Spearman looks at order, while Pearson looks at the trend of the values. For example, when real consumers’ share for an option rises from 10% to 20%, it checks whether the synthetic consumers’ share rises by about as much. A high score means synthetic consumers follow the changes in real consumers’ answers closely.
4. 1 − MAE (mean absolute error, turned into accuracy)
“How small is the error on average?”
Mean absolute error (MAE) shows how far the estimated values are from the actual values on average. We turn this error into accuracy by subtracting it from 1. The result shows directly how close synthetic consumers’ answers are to real consumers’ answers on average.
5. 1 − RMSE (root mean square error, turned into accuracy)
“Is it precise, without answers that are far off?”
Root mean square error (RMSE) squares each error, so even one large error makes the value jump. Turned into accuracy, it goes beyond the average and shows how few answers are far from reality. A high value means synthetic consumers matched the overall pattern and answered precisely, with no outliers.
How similar are the answers when the same survey is run twice with people?
To find out, we used data from a real consumer survey with 120 participants. We randomly split them into two groups of 60 with the same demographic profile and compared the groups as if the same survey had been run twice.
The overall similarity between the two groups of real people was about 0.93. In other words, even when the same survey is run twice with real consumers, the answers cannot be 100% the same; they are about 93% similar.

Two measures that look past group shares
Added in October 2026.
The five measures above all work at group level. They compare the share and ranking of the options chosen by synthetic consumers as a whole with those of real consumers as a whole. Spearman correlation and JS similarity, the measures that papers outside Korea mostly use, work the same way.
Comparing shares and rankings alone can miss things. So Intellicia also checks the direction of the findings and whether each respondent’s answers fit together.
Finding Agreement Index
“Do the results point the same way?”
Answers can have similar shares for every question and still lead to the opposite conclusion. For example, after seeing the price, real consumers’ purchase intent may fall from 3.8 to 3.5, while synthetic consumers’ rises from 3.6 to 3.7. The distributions look alike, but the conclusion “showing the price lowers purchase intent” is reversed.
The Finding Agreement Index defines each such comparison as a rule in advance and measures the share of rules in which synthetic consumers answered in the same direction as real consumers. The measures above look at the size of the differences; this one looks only at the direction. Before anyone sees the answers, an AI agent proposes the rules from the questionnaire alone, and researchers confirm them. This keeps the rules from being chosen to favor either side. Real consumers’ answers decide which direction is right.
Individual Coherence Index
“Do one respondent’s answers fit together like a real person’s?”
A check of group shares alone can give a good score to answers that match each question’s shares but do not fit together within one person.
Real people’s answers fit together. For example, a person who has trouble falling asleep is also likely to be interested in sleep-tracking devices. The Individual Coherence Index takes the scale questions (5-point ratings, for example) two at a time. For each pair where real consumers show a clear link, it checks whether synthetic consumers show a link in the same direction.
The score runs from 0 to 1. A score of 1 means every pair checked is fully linked in the same direction as for real consumers. At 0.5, the questions have no link at all, as if each person picked answers at random. Below 0.5, many pairs are linked in the opposite direction from real consumers. Real people’s answers do not reach 1 either, so we compare the score with the level of real consumers in the same study.
Intellicia looks at group shares and rankings, the direction of findings, and whether each respondent’s answers fit together. We use all of them to keep improving our technology, so that synthetic consumers come as close as possible to real consumers’ answer patterns.
이 글은 2026.04.22 Medium에 처음 실렸고, 블로그로 옮기며 다듬었습니다.