합성소비자란 무엇인가: 하버드·스탠퍼드 연구가 보여준 AI 소비자 조사의 가능성
합성소비자의 뜻과 원리, 그리고 하버드 경영대학원과 스탠퍼드대 연구가 보여준 정확도와 한계를 정리했습니다.
합성소비자, 정확히 무엇인가
‘합성소비자(Synthetic Consumers)’ 또는 ’합성응답(Synthetic Responses)’은 AI가 실제 소비자를 시뮬레이션해 설문이나 인터뷰에 답하는 것을 말합니다.
비유하면 이렇습니다. 영화 촬영에서 스턴트맨이 위험한 장면을 대신 찍듯, 합성소비자는 실제 소비자 대신 설문에 답합니다. 다만 스턴트맨이 배우의 움직임을 그대로 재현해야 쓸모가 있듯, 합성소비자도 실제 소비자의 태도와 선호를 높은 정확도로 재현해야 의미가 있습니다.
이것이 가능한 이유는 대규모 언어모델(LLM)이 인터넷의 방대한 소비자 리뷰, 커뮤니티 토론, 구매 후기 등을 학습했기 때문입니다. 이 데이터에는 소비자들이 제품을 어떻게 생각하고, 무엇을 선호하며, 어떤 가격에 반응하는지가 담겨 있습니다.
그렇다면 실제로 얼마나 정확할까요? 두 편의 주요 연구가 이 질문에 답합니다.
연구 1. 하버드 경영대학원, “Using LLMs for Market Research”
2023년 3월, 하버드 경영대학원(HBS)의 Ayelet Israeli 교수와 Microsoft의 James Brand, Donald Ngwe가 워킹페이퍼 “Using LLMs for Market Research”를 공개했습니다. 연구팀은 GPT-3.5로 소비자의 지불의향가격(WTP, Willingness-to-Pay)을 추정하고, 이를 사람에게 받은 설문 결과와 비교했습니다.
치약의 불소(Fluoride) 성분에 대한 지불의향가격을 비교하면 이렇습니다.
- GPT 추정값: 3.40달러
- 사람 설문 결과(Fong 외, 2023): 3.27달러
두 값의 차이는 4% 미만입니다. 비교에 쓰인 Fong 외(2023) 연구는 자신들의 설문 결과가 실제 시장 결과와 맞는지도 확인했습니다. GPT의 추정이 실제 시장 행동과도 가까울 수 있다는 뜻입니다.
연구팀은 한 걸음 더 나아가, 기존 사람 설문 데이터를 GPT에 추가로 학습시켰을 때 무엇이 달라지는지 실험했습니다. 처음 보는 제품 특성에 대해서도 예측이 크게 좋아졌습니다.
- 노트북의 ‘내장 프로젝터’ 기능: 학습 전 GPT는 사람보다 3배 넘게 높은 값을 추정했지만, 학습 후에는 사람의 추정과 거의 같아졌습니다.
- 치약의 새로운 맛(오이, 팬케이크): 학습 전에는 좋고 싫음의 방향이 사람과 반대였지만, 학습 후에는 같은 방향으로 바뀌었습니다.
연구팀은 GPT를 새 아이디어를 빠르게 시험하고 후보를 좁히는 도구로 쓰는 방법을 제안합니다.
연구 2. 스탠퍼드대, “Generative Agent Simulations of 1,000 People”
2024년 11월, 스탠퍼드대 박준성(Joon Sung Park) 연구팀이 발표한 연구입니다. 하버드 연구가 ’일반적인 소비자’를 시뮬레이션했다면, 이 연구는 특정한 한 사람을 그대로 재현하는 데 도전했습니다.
연구 방법. 연구팀은 미국인 1,052명을 모집해 한 사람당 2시간씩 심층 인터뷰를 했습니다. 어린 시절, 기억에 남는 일, 직업, 이민 정책에 대한 생각 등을 폭넓게 물었고, 이 인터뷰 기록을 LLM과 결합해 한 사람씩 시뮬레이션하는 AI 에이전트를 만들었습니다.
검증 방법. 에이전트가 실제 그 사람처럼 답하는지 두 가지로 확인했습니다.
- 종합사회조사(GSS, General Social Survey): 미국 사회과학 연구의 표준 설문
- 빅파이브(Big Five) 성격 검사: 심리학의 표준 성격 측정 도구
기준. 연구팀은 독특한 기준을 썼습니다. 사람이 2주 뒤 같은 설문에 다시 답할 때 자기 답을 얼마나 똑같이 반복하는지를 100%로 놓고, AI가 그 사람의 답을 얼마나 맞추는지 견준 것입니다. 사람도 2주 전 자기 답을 완벽히 반복하지 못합니다. 기분, 상황, 질문 해석에 따라 답이 달라지기 때문입니다. 연구팀은 이 ’사람 스스로의 응답 변동’을 현실적인 상한선으로 봤습니다.
결과. GSS에서 AI 에이전트는 사람이 2주 뒤 자기 답을 반복하는 정확도의 85% 수준으로 그 사람의 답을 맞췄습니다. 성격 검사와 실험 재현에서도 비슷한 수준이었습니다.
쉽게 풀면, 어떤 사람이 2주 뒤 같은 설문에서 자기 답의 90%를 똑같이 반복한다면, 그 사람을 시뮬레이션한 에이전트는 약 76.5%(90 × 0.85)를 맞춘다는 뜻입니다.
이 85%가 의미 있는 이유는 AI가 ’완벽한 예측’이 아니라 ’사람 수준의 변동’에 가까워졌다는 데 있습니다. 사람조차 자기 자신을 100% 재현하지 못하는 상황에서 그 일관성의 85%에 닿았다는 것은 실무에 쓸 수 있는 가능성을 보여 줍니다.
스탠퍼드 연구와 인텔리시아 방식
스탠퍼드 연구는 실제 한 사람을 두 시간 인터뷰하고, 그 기록으로 그 사람처럼 답하는 에이전트, 이른바 디지털 트윈을 만들었습니다. 인텔리시아도 필요한 조사에는 실제 사람의 응답 패턴을 바탕으로 만든 디지털 트윈을 씁니다. 트윈에 쓰는 실제 사람 데이터는 동의를 받아 비식별 처리한 것입니다.
차이는 그다음입니다. 기업의 결정에 필요한 것은 한 사람의 답이 아니라 시장의 반응입니다. 그래서 인텔리시아는 조사마다 소비자 집단을 정하고 합성소비자로 그 집단을 채워, 집단이 어떻게 답하는지 시뮬레이션합니다. 이 방법을 Cohort Simulation이라고 부릅니다. 결과는 두 갈래로 검증합니다. 집단의 분포는 사람 조사와 견주고, 한 사람의 답은 앞뒤가 맞는지 봅니다.
두 연구가 함께 보여 주는 것
두 연구는 접근은 달랐지만 같은 결론에 닿습니다.
- LLM은 소비자 행동을 의미 있는 수준으로 시뮬레이션할 수 있습니다.
- 알맞은 데이터를 더하면 정확도가 크게 오릅니다.
- 사람을 완전히 대신하기보다, 조사 효율을 높이는 보완재로 쓸 수 있습니다.
마케팅 실무자에게 주는 메시지
- 빠른 아이디어 검증. 신제품 컨셉 10개를 사람 패널로 시험하기 전에, 합성소비자로 먼저 3개로 좁힐 수 있습니다.
- 비용과 시간. 사람에게 받는 설문보다 비용과 시간을 크게 줄일 수 있습니다.
- 반복 조사. 같은 조건으로 몇 번이고 다시 조사할 수 있습니다. 사람 설문에서는 어려운 일입니다.
참고한 연구
What exactly are synthetic consumers?
“Synthetic consumers,” or “synthetic responses,” means AI that simulates real consumers and answers surveys or interviews.
Think of a stunt double on a film set, who performs the dangerous scenes in place of the actor. Synthetic consumers answer surveys in place of real consumers in the same way. A stunt double is only useful if they copy the actor’s movements closely. Synthetic consumers are only useful if they reproduce real consumers’ attitudes and preferences with high accuracy.
This is possible because large language models (LLMs) have learned from large amounts of consumer reviews, community discussions and purchase reviews on the internet. This data shows how consumers think about products, what they prefer and how they react to prices.
Two major studies have tested how accurate they are in practice.
Study 1. Harvard Business School, “Using LLMs for Market Research”
In March 2023, Professor Ayelet Israeli of Harvard Business School (HBS) and James Brand and Donald Ngwe of Microsoft released a working paper, “Using LLMs for Market Research.” The team used GPT-3.5 to estimate consumers’ willingness to pay (WTP) and compared the estimates with results from surveys of people.
For fluoride in toothpaste, the two willingness-to-pay figures were:
- GPT estimate: USD 3.40
- Survey of people (Fong et al., 2023): USD 3.27
The gap between the two is less than 4%. The Fong et al. (2023) study used for this comparison also checked that its survey results matched real market results. So GPT’s estimate may also be close to how people actually behave in the market.
Next, the team trained GPT further on existing survey data from people and tested what changed. Its estimates improved a lot, even for product features it had not seen before.
- A laptop’s “built-in projector”: before the training, GPT’s estimate was more than three times higher than people’s. After the training, it was almost the same as people’s.
- New toothpaste flavors (cucumber, pancake): before the training, GPT’s likes and dislikes went in the opposite direction from people’s. After the training, they went in the same direction.
The team suggests using GPT as a tool to test new ideas quickly and narrow down the options.
Study 2. Stanford University, “Generative Agent Simulations of 1,000 People”
A team led by Joon Sung Park at Stanford University published this study in November 2024. Where the Harvard study simulated a “typical consumer,” this study tried to reproduce one specific person at a time.
The team recruited 1,052 Americans and interviewed each of them in depth for two hours. They asked about a wide range of topics, such as childhood, memorable events, work and views on immigration policy. They then combined each interview transcript with an LLM to build an AI agent that simulates that one person.
To check whether each agent answered like the real person, the team used two tests:
- The General Social Survey (GSS): the standard survey in US social science research
- The Big Five personality test: the standard personality measure in psychology
The team also used an unusual baseline. They took how closely people repeat their own answers when they take the same survey again two weeks later, set that at 100%, and measured how well the AI matched each person’s answers against it. People do not repeat their own answers from two weeks before perfectly either, because answers change with mood, situation and how a question is read. The team treated this variation in people’s own answers as a realistic upper limit.
On the GSS, the AI agents matched people’s answers at 85% of the accuracy with which people repeat their own answers two weeks later. The personality test and the experiment replications showed a similar level.
For example, if a person repeats 90% of their own answers when they take the same survey two weeks later, the agent that simulates that person gets about 76.5% (90 × 0.85) right.
This 85% matters because the AI came close to the consistency of people themselves, which is already below 100%. Reaching 85% of that consistency shows that the approach can be useful in practice.
Intellicia’s approach and the Stanford study
The Stanford study interviewed each real person for two hours and used the transcript to build an agent that answers like that person, often called a digital twin. Intellicia also uses digital twins built on real people’s response patterns when a study needs them. The real-person data behind the twins was collected with consent and de-identified.
Where we differ is the next step. A business decision needs the response of a market, not the answers of one person. So for each study, Intellicia defines the consumer group, fills it with synthetic consumers and simulates how that group answers. We call this method Cohort Simulation. We check the results in two ways: we compare the group’s answer distribution with research on real people, and we check whether each respondent’s answers are consistent.
What the two studies show together
The two studies took different approaches but reached the same conclusions:
- LLMs can simulate consumer behavior at a meaningful level.
- Adding the right data raises accuracy a lot.
- They can be used as a complement that makes research more efficient, rather than as a full replacement for people.
What this means for marketers
- Before you test 10 new product concepts with a human panel, you can first use synthetic consumers to narrow them down to 3.
- You can save a lot of cost and time compared with surveys of people.
- You can run the same study again and again under the same conditions, which is hard to do with surveys of people.
Studies cited
- Brand, J., Israeli, A., & Ngwe, D. (2023). Using LLMs for Market Research. Harvard Business School Working Paper 23-062. SSRN
- Park, J. S., et al. (2024). Generative Agent Simulations of 1,000 People. arXiv (Based on the first version, released in November 2024. Later revisions changed the title and report 86%.)
이 글은 2026.04.22 Medium에 처음 실렸고, 블로그로 옮기며 다듬었습니다.