← 블로그

합성소비자검증지표

합성소비자와 실제 소비자, 응답이 정말 비슷한지 어떻게 확인할까

합성소비자의 응답이 실제 소비자와 얼마나 닮았는지 재는 다섯 가지 지표와 사람끼리의 기준선, 그리고 결론의 방향과 응답자 한 명의 정합성까지 보는 두 지표를 설명합니다.

합성소비자(Synthetic Consumer) 기술의 핵심은 합성소비자가 내놓은 응답이 실제 소비자의 응답과 얼마나 비슷한지 검증하는 데 있습니다. 해외 논문이나 기업은 두 응답의 유사성을 비교할 때 주로 스피어만 상관계수(Spearman Correlation)를 씁니다.

인텔리시아는 더 꼼꼼하게 검증하기 위해, 응답의 여러 특성을 반영하는 다섯 가지 지표를 함께 씁니다. 이 글에서는 그 지표들을 하나씩 설명합니다.

종합 유사도를 이루는 다섯 가지 지표

설문의 모든 문항에서, 합성소비자와 실제 소비자가 각 보기를 고른 비율이 얼마나 다른지 분석해 유사도를 잽니다.

1. JS 유사도 (Jensen-Shannon Similarity)

“응답 분포의 모양이 얼마나 같은가?”

합성소비자의 응답 분포가 실제 소비자의 응답 분포와 얼마나 닮았는지 잽니다. 예전에 쓰이던 방식(KL 발산)의 단점을 보완해, 두 분포가 닮은 정도를 0과 1 사이 숫자로 알기 쉽게 나타냅니다. 값이 높을수록 합성소비자가 한쪽으로 치우치지 않고 실제 사람들의 전체 응답 분포를 가깝게 재현했다는 뜻입니다.

2. 스피어만 상관계수 (Spearman Correlation)

“보기 사이의 순위를 맞혔는가?”

응답의 구체적인 수치보다 ’순위’가 맞는지 보는 지표입니다. 소비자 조사에서는 정확한 응답 비율만큼이나 “A보다 B를 더 좋아한다”는 서열이 중요한 경우가 많습니다. 스피어만 상관계수는 합성소비자가 제품이나 속성 사이의 우열과 선호 순위를 얼마나 잘 따라갔는지 평가하는 데 알맞습니다.

3. 피어슨 상관계수 (Pearson Correlation)

“수치가 움직이는 방향과 크기가 같은가?”

두 변수의 선형 관계를 보는 가장 대표적인 통계 지표입니다. 실제 소비자의 응답률이 높은 보기는 합성소비자도 높게, 낮은 보기는 낮게 답하는지 봅니다. 스피어만이 ’순서’를 본다면 피어슨은 ’값의 추세’를 봅니다. 예를 들어 실제 소비자의 선택 비율이 10%에서 20%로 늘 때 합성소비자도 그만큼 늘어나는지 확인합니다. 이 점수가 높다면 합성소비자가 실제 소비자의 응답 변화를 그대로 따라가고 있다는 뜻입니다.

4. 1 − MAE (평균 절대 오차를 정확도로 바꾼 값)

“평균적으로 오차가 얼마나 작은가?”

평균 절대 오차(MAE)는 추정값과 실제값의 차이가 평균 얼마인지 나타냅니다. 이 오차를 ’정확도’로 바꿔(1에서 빼서) 씁니다. 합성소비자의 응답이 실제 소비자 응답과 평균적으로 얼마나 가까운지 바로 보여 줍니다.

5. 1 − RMSE (평균 제곱근 오차를 정확도로 바꾼 값)

“크게 빗나간 답 없이 정밀한가?”

평균 제곱근 오차(RMSE)는 오차를 제곱해서 계산하므로, 큰 오차가 하나라도 있으면 값이 크게 뜁니다. 이를 정확도로 바꿔 쓰면, 평균만 비슷한 것이 아니라 ’실제와 동떨어진 엉뚱한 응답’이 얼마나 적은지 알 수 있습니다. 이 값이 높다면 합성소비자가 전반적인 패턴을 맞출 뿐 아니라 튀는 값 없이 정밀하게 답했다는 뜻입니다.

사람끼리 같은 조사를 두 번 하면 얼마나 비슷할까

이를 확인하려고 120명이 참여한 실제 소비자 조사 데이터를 썼습니다. 인구통계 특성을 똑같이 맞춘 두 그룹(60명씩)으로 무작위로 나눠, 같은 조사를 두 번 한 것처럼 놓고 비교했습니다.

그 결과 실제 사람끼리 비교한 종합 유사도는 약 0.93이었습니다. 실제 소비자에게 같은 조사를 두 번 해도 응답이 100% 같을 수는 없고, 93% 정도 비슷하다는 뜻입니다.

실제 소비자 120명을 60명씩 두 그룹으로 나눠 비교한 유사도 지표 분포: 종합 유사도는 약 0.93

집단의 비율 너머를 보는 두 지표

2026년 10월에 덧붙인 내용입니다.

위의 다섯 가지 지표는 모두 합성소비자 전체가 각 보기를 고른 비율과 순위를 실제 소비자 전체와 견주는 집단 단위 지표입니다. 해외 논문에서 주로 쓰는 스피어만 상관계수나 JS 유사도도 마찬가지입니다.

비율과 순위가 비슷한지만 보면 놓치는 것이 있습니다. 그래서 인텔리시아는 결론의 방향과 응답자 한 명 단위의 정합성까지 함께 봅니다.

방향 일치도 (Finding Agreement Index)

“조사 결과가 가리키는 방향이 같은가?”

문항마다 비율이 비슷해도 결론은 반대일 수 있습니다. 예를 들어 가격을 보여 준 뒤 실제 소비자의 구매 의향은 3.8점에서 3.5점으로 내려가는데, 합성소비자는 3.6점에서 3.7점으로 오를 수 있습니다. 분포는 비슷해 보여도 “가격을 보면 구매 의향이 떨어진다”는 결론은 정반대가 됩니다.

방향 일치도는 이런 비교를 하나하나 ’규칙’으로 정해 두고, 합성소비자가 실제 소비자와 같은 방향으로 답한 규칙의 비율을 잽니다. 차이의 크기는 위의 지표들이 보고, 방향 일치도는 방향만 봅니다. 규칙은 응답을 보기 전에 AI 에이전트가 설문지만 보고 제안하고, 연구원이 확정합니다. 어느 한쪽에 유리한 비교만 고르지 않기 위해서입니다. 어느 쪽이 맞는 방향인지는 실제 소비자의 응답으로 정합니다.

응답 정합성 (Individual Coherence Index)

“응답자 한 명의 답이 실제 사람처럼 서로 맞물리는가?”

집단의 비율만 보면, 문항마다 비율은 맞아도 한 사람 안에서는 답이 따로 노는 응답이 높은 점수를 받을 수 있습니다.

실제 사람의 답은 서로 맞물려 있습니다. 예를 들어 잠들기 어렵다고 답한 사람이 수면 추적 기기에도 관심이 많다고 답하는 식입니다. 응답 정합성은 5점 척도처럼 점수로 답하는 문항을 두 개씩 짝짓고, 실제 소비자에게서 연결이 뚜렷한 짝마다 합성소비자에게서도 같은 방향의 연결이 나타나는지 확인합니다.

점수는 0과 1 사이입니다. 1이면 확인한 짝이 모두 실제 소비자와 같은 방향으로 완전히 맞물려 있다는 뜻입니다. 0.5는 문항끼리 아무 연결이 없는 상태로, 사람마다 답을 무작위로 고른 것과 같습니다. 0.5보다 낮으면 실제와 반대 방향으로 맞물린 짝이 많다는 뜻입니다. 실제 사람의 응답도 1이 되지는 않기 때문에, 같은 조사의 실제 소비자 수준과 견줘 봅니다.

인텔리시아는 집단의 비율과 순위, 결론의 방향, 응답자 한 명의 정합성까지 함께 보면서 합성소비자가 실제 소비자의 응답 패턴에 최대한 가까워지도록 기술을 다듬고 있습니다.

이 글은 2026.04.22 Medium에 처음 실렸고, 블로그로 옮기며 다듬었습니다.

다른 글