퓨리서치가 사람 패널 수천 명을 AI로 복제해 설문을 돌려봤다

 

미국에 사는 히스패닉 성인에게 “다음 월드컵을 볼 것 같냐”고 물으면 42%가 그렇다고 답해요. 그런데 같은 사람들을 AI로 복제해서 똑같이 물었더니 97%가 본다고 했어요. 학교에서 스페인어를 가르치는 게 매우 중요하냐는 질문에는 실제 사람 32%가 그렇다고 했는데, AI 복제본은 72%였어요. AI는 그 사람이 뭐라고 답할지가 아니라, “히스패닉이라면 이럴 것”이라는 생각으로 답한 거예요.

미국 여론조사 기관 퓨리서치가 9월 30일에 공개한 실험의 한 장면이에요. 수십 년 운영해 온 사람 패널 수천 명을 한 명씩 AI로 복제해서, 사람과 같은 설문 300문항을 돌렸어요. 여론조사 기관이 왜 이런 걸 했냐면, 조사 업계에 “사람 대신 AI에게 물어보자”는 흐름이 생각보다 빨리 커지고 있어서예요. 국내 조사 회사 오픈서베이가 올해 4월 웨비나 참가자에게 물었을 때, AI로 만든 응답자를 실제로 써본 사람은 10%가 안 됐어요. 그런데 미국 조사 플랫폼 퀄트릭스가 2024년 말 한국을 포함한 14개국의 시장조사 전문가 3,000여 명에게 물었더니, 71%가 “3년 안에 시장조사 대부분이 AI 합성 응답으로 이뤄질 것”이라는 데 동의했어요. 써본 사람은 적은데, 그렇게 될 거라고 믿는 사람은 많아요. 상세페이지 시안 세 개를 놓고 진짜 고객 조사를 돌리면 4주가 걸리는데, AI에게 “30대 직장인 여성 30명이 돼서 골라봐”라고 하면 10분이면 끝나니까요. 오픈서베이는 7월에 ‘합성 소비자와 대화’ 기능을 냈고, 퀄트릭스는 “몇 주 대신 몇 시간”이라고 광고해요.

오늘은 왜 다들 이쪽으로 가는지, 퓨가 어떻게 재봤는지, 사람과 뭐가 달랐는지, 그래서 우리는 어디까지 써도 되는지를 순서대로 가볼게요.

 

 

 

왜 다들 AI에게 먼저 물어보나


이유는 둘이에요. 시간과 돈. 한국일보가 7월에 정리한 바로는 기존 소비자 조사가 4~6주 걸리던 걸 합성 응답은 2~3일에 끝내요. 퀄트릭스의 그 조사에서 합성 응답을 써본 전문가의 87%는 만족한다고 답했고, 오픈서베이의 4월 조사에서 써보고 싶은 이유로는 ‘더 빠른 리서치’와 ‘비용 절감’이 각각 50% 안팎으로 나왔어요.

파는 쪽도 빠르게 늘었어요. 국내 스타트업 인텔리시아는 CJ제일제당, LG유플러스 등 20여 개 회사와 60여 건의 조사를 했는데, 3D 가상 매장에서 AI 소비자가 물건을 고르는 과정까지 돌려요. 미국의 아루는 인구통계와 행동 데이터로 학습한 AI 에이전트 5,000개로 작년 6월 뉴욕시장 민주당 경선 결과를 예측했고, 기업가치 10억 달러를 인정받았어요. 입소스와 닐슨IQ 같은 전통 조사 회사도 자기 고객 데이터로 만든 합성 소비자 도구를 내놨고요. 오픈서베이의 7월 기능은 트렌드 리포트나 고객이 돌린 설문 데이터로 세그먼트를 만들고, 그 세그먼트를 대표하는 가상 인물과 대화하는 방식이에요. 데이터가 있으면 데이터로 답하고, 없으면 “프로필로 추론한 답”이라고 표시해 줘요.

학계가 먼저 길을 냈어요. 2023년 미국 정치학자들이 GPT-3에 실제 응답자 수천 명의 배경을 입혀 설문을 돌리고 ‘실리콘 샘플’이라는 이름을 붙였어요. 2024년 스탠퍼드 팀은 미국인 1,052명을 두 시간씩 인터뷰해서 한 사람당 AI 분신 하나를 만들었는데, 이 분신들이 사회조사 질문에 답한 정확도가 “본인이 2주 뒤 같은 질문에 다시 답할 때의 일관성” 대비 82~86%였어요. 인구통계만 준 분신은 74%였고요. 올해 7월 네이처에 실린 하버드·스탠퍼드 연구는 미국인 11만 9천 명이 참여한 실험 70개를 GPT-4로 다시 돌려, “어떤 메시지가 효과가 있었나”를 상관계수 0.85로 맞혔어요.

이런 숫자가 쌓이니 “AI에게 물어봐도 되겠다”는 분위기가 생겼어요. 그런데 네이처 연구가 맞힌 건 실험의 ‘방향과 크기’예요. 사람 개개인이 뭐라고 답할지, 몇 퍼센트가 그렇게 답할지는 다른 문제예요. 퓨가 재본 건 그 다른 문제예요.

 

 

 

퓨는 어떻게 재봤나


퓨리서치에는 ‘아메리칸 트렌드 패널’이라는 상설 패널이 있어요. 미국 성인 수천 명이 정기적으로 설문에 답하는 집단이에요. 퓨는 이 패널 한 사람마다 AI ‘디지털 트윈’을 하나씩 만들었어요. 이름이 거창하지만 재료는 설문 데이터예요.

 

 

이 재료를 클로드 오퍼스 4.6에게 주고 “이 사람이 되어 답하라”고 했어요. 한 문항씩 답하게 하고, 앞에서 한 답을 다음 문항에 다시 넣어 일관성을 지키게 했어요. 설문 순서와 보기 순서를 섞는 방식까지 사람 설문과 똑같이 맞췄고요. 1월, 3월, 4월에 사람에게 돌린 조사 세 건을 각각 8,512명, 3,507명, 5,103명 규모로 복제했어요. 합쳐서 300문항 가까이 돼요.


모델도 여러 개를 겨루게 했어요. 1월 조사로 예선을 치렀는데 GPT-5 나노는 평균 17.4점, GPT-5.1은 13.3점, 오퍼스 4.6은 11.4점 틀려서 오퍼스를 본선에 썼어요. 재미있는 대목이 하나 있어요. 오퍼스는 비용이 커서 1월 조사는 8,512명 전체가 아니라 6,700명만 복제했어요. AI 설문도 공짜가 아니에요.

 

 

여기서 ‘점’이 뭔지 분명히 해둘게요. 퓨가 쓴 점수는 ‘평균 절대 오차’이고, 단위는 퍼센트포인트예요.

 

 

 

 

퓨의 점수 매기는 법


 

  • 1. 문항 하나를 고르고, 보기마다 사람의 응답 비율과 AI의 응답 비율을 비교해요. 이란 공습 문항이라면 “찬성” 사람 36%, AI 48%라서 12점 차이.
  • 2. 그 문항의 보기별 차이를 평균 내요. 예를 들어 보기가 셋이고 차이가 10점, 5점, 5점이면 그 문항은 6.7점.
  • 3. 조사의 모든 문항 점수를 다시 평균 내요. 이게 그 조사의 점수예요.
  • 4. 0점이 완벽히 일치, 숫자가 클수록 많이 틀린 거예요. 이론상 최대는 100점이지만, 실제로는 문항 하나가 20~30점만 돼도 결론이 뒤집혀요.


✅ 결과: 1월 조사 11.3점, 3월 14.7점, 4월 11.2점, 세 조사 평균 12.4점. 전체 문항의 28%가 15점을 넘었어요. 비교 기준으로, 전국 여론조사가 보통 오차 범위로 내세우는 숫자가 ±3점 안팎이에요. 12점은 그 네 배예요.

 


가장 크게 틀린 문항과 거의 맞힌 문항을 나란히 놓으면 이래요.

 

 

몇 년째 같은 질문을 반복해 온 추세 문항들은 평균 12점으로 전체 평균과 같았고, 여론이 실제로 얼마나 바뀌었든 오차는 비슷했어요. 틀린 문항에 공통점이 보여요. 특정 집단에게 묻는 질문, 상식 문제, 최근 뉴스에 대한 질문이에요. 왜 그런지는 다음 섹션에서 하나씩 볼게요.

 

 

 

뭐가 달랐나, 다섯 가지


첫째, 평균 12점 어긋났어요.

세 조사의 오차는 11점, 15점, 11점이었고, 전체 문항의 28%는 15점 넘게 틀렸어요. 여론조사에서 12점이면 결론이 바뀌는 크기예요.

 

둘째, ‘잘 모르겠다’를 안 골랐어요.

사람 패널은 보기 중 ‘잘 모르겠다’를 16% 골랐는데 AI 분신은 4%였어요. 사람이 네 배 더 모른다고 했어요. 상식 문제에서 이게 그대로 드러나요. 수정헌법 1조가 언론 자유를 보장하느냐는 문항에 사람은 52%가 맞혔고 AI는 98%가 맞혔어요. NATO가 뭘 하는 조직이냐는 56% 대 99%, 우크라이나가 NATO 회원국이 아니라는 건 46% 대 76%. 퓨의 표현으로 AI 분신은 “틀린 답을 거의 고르지 않았어요.” 평범한 사람의 모름을 흉내 내지 못하는 거예요.

 

셋째, 다수를 전원으로 만들었어요.

이게 마케터에게 가장 중요한 대목이에요. 공화당 지지자 중 이스라엘에 호감이 있다는 사람은 실제 58%인데 AI 분신은 95%였어요. 민주당 지지자 중 억만장자의 재산이 나라에 나쁘다는 사람은 실제 45%, AI 86%. 도입에서 본 히스패닉의 월드컵(42% 대 97%)과 스페인어 교육(32% 대 72%)도 같은 현상이에요. 퓨는 이렇게 썼어요. AI 표본은 “많은 민주당·공화당 지지자가 갖고 있지만 결코 전부는 아닌 견해를, 거의 보편적인 것처럼 만들었다.” 집단별 오차를 보면 공화당 지지자 16점, 흑인 15점, 히스패닉 14점, 민주당 14점, 백인 13점, 대졸 12점이에요. 소수 집단일수록, 정치색이 뚜렷한 집단일수록 더 틀려요. ’30대 직장인 여성 30명’을 AI로 만들면 서른 명이 다 같은 취향을 말하는 이유가 여기 있어요. AI는 그 집단에 대한 고정관념을 답해요.

 

넷째, 뉴스를 몰랐어요.

퓨가 쓴 오퍼스 4.6의 지식은 2025년 5월에서 끝나요. 그 뒤에 벌어진 일을 묻자 크게 어긋났어요. 이민 단속관이 복면을 쓰는 게 괜찮다는 사람은 실제 38%, AI 17%. 공화당 지지자만 보면 67% 대 35%. 이란 공습에 찬성하는 사람은 실제 36%, AI 48%였고, 공화당 지지자는 67% 대 93%. 데이터센터 이야기를 “많이 들어봤다”는 사람은 실제 25%인데 AI는 3%였고, 전기요금이 “매우 걱정된다”는 사람은 실제 52%, AI 23%로 29점 차이였어요. 사람의 걱정은 지난달 뉴스와 이번 달 고지서에서 오는데, AI 분신은 그 뉴스를 못 봤어요. 퓨는 지식 기준일 이후의 일에서 “특히, 하지만 항상은 아니게” 틀렸다고 적었어요. 기준일 전의 일도 여론이 과거 패턴에서 벗어나면 못 따라갔어요.

 

다섯째, 모델을 바꾸면 여론이 바뀌었어요.

같은 프로필을 GPT-5.1에게 주면 실제보다 극단적인 의견이 나왔고, 오퍼스에게 주면 온건한 의견이 나왔어요. 어느 회사 AI를 쓰느냐에 따라 “국민 여론”이 달라지는 거예요. 2024년 정치학 학술지에 실린 밴더빌트 연구도 같은 걸 봤어요. AI 응답은 평균은 비슷한데 분산이 작고, 변수 간 관계를 계산하면 사람 데이터와 다른 결과가 나오고, 시점과 프롬프트에 따라 흔들려서 재현이 어렵다고요.

 

퓨의 결론은 짧아요. “AI 모델은 공공의 중요한 주제에 대한 전통적 여론조사의 적절한 대체물이 아니다.” 그리고 “엄밀한, 여러 방식을 섞은, 확률 기반 조사의 대체물을 우리는 보지 못했다.” 다만 AI가 쓸모없다는 말은 아니에요. 주관식 답변을 분류하고 데이터를 분석하는 데는 쓰라고 했어요.

 

 

 

한국 조사 회사들이 먼저 적어둔 한계


퓨만 이런 말을 한 게 아니에요. 합성 응답을 파는 회사들이 스스로 적어둔 한계가 거의 같아요. 마크로밀 엠브레인은 6월 30일 웨비나에서 엔비디아의 한국형 AI 페르소나 데이터 100만 건으로 돌린 파일럿 결과를 공개했어요. 신제품 콘셉트나 이름처럼 자극물을 보여주고 평가하게 하는 조사는 사람과 AI의 차이가 비교적 작았는데, 브랜드 인지도나 실제 소비 행동을 묻는 조사는 유의미하게 달랐어요. 이경택 부사장의 말은 이래요. “AI 합성서베이는 모든 조사를 대체하는 도구가 아니라 특정 조사 유형에서 활용 가능한 보조 수단임을 이번 데이터가 보여준다.”

오픈서베이는 4월 웨비나에서 AI만으로 응답자를 만들 때의 문제를 넷으로 정리했어요. 실제 응답의 다양성을 과소 재현하는 ‘분산 붕괴’, 실제보다 바람직한 답이 많이 나오는 사회적 바람직성 편향, 학습 데이터의 서구권·고학력 편향, 그리고 모델이 업데이트되면 같은 프롬프트에도 결과가 달라지는 재현성 문제. 퓨가 다섯 달 뒤에 숫자로 확인한 것과 겹쳐요. 오픈서베이의 권고도 분명해요. “99%의 정확도를 기대하기보다, 80%의 정확도로도 충분히 활용할 수 있는 용도를 찾는 것이 현실적”이고, “최종 검증은 실제 고객과 실제 소비자를 대상으로” 하라고요. 실존 인물을 그대로 복제하는 디지털 트윈은 개인정보 때문에 리서치 목적으로는 지양한다고도 했어요.

퀄트릭스도 자사 안내에서 출시 여부 결정, 큰 가격 결정, 규제 기관 제출 자료에는 쓰지 말라고 적어요. 가장 세게 말한 건 호주의 조사 플랫폼 컨조인틀리예요. 2024년 3월 글의 제목이 “합성 응답자는 시장조사의 동종요법이다”예요. 요지는 이래요. 가짜 응답으로 만든 보고서도 진짜 데이터로 만든 보고서와 같은 표, 같은 그래프, 같은 상관계수가 나온다. 그래서 더 위험하다. 컨조인틀리는 사람 응답자로 돈을 버는 회사라 이해관계가 있지만, 이 지적 자체는 퓨의 결과와 맞아요. 12점 틀린 데이터도 엑셀에서는 멀쩡해 보여요.

 

 

 

반대편에서도 AI가 설문을 망치고 있다


AI 설문의 반대쪽에는 사람 설문이 있는데, 거기에는 AI가 섞여 들어가고 있어요. 다트머스대 숀 웨스트우드가 작년 11월 미국 국립과학원회보에 낸 연구가 있어요. 500단어짜리 지시문으로 만든 AI 응답 봇이 43,000번의 시험에서 “사람인지 확인하는 문항”을 99.8% 통과했어요. 논리 퍼즐은 하나도 안 틀렸고, 학력이 낮게 설정되면 더 단순한 답을 쓰는 식으로 사람인 척했어요. 사람 응답자는 설문 하나에 1.5달러를 받는데 봇은 5센트면 돼요. 그리고 2024년 대선 전 주요 여론조사 7개에, 가짜 응답을 10개에서 52개만 섞었어도 예측 결과가 뒤집혔을 거라고 계산했어요. 러시아어나 중국어, 한국어로 지시해도 완벽한 영어로 답했고요.

퓨도 8월에 온라인 자발 참여 패널을 점검했는데, 함정 문항에 응답자의 18%가 걸렸고 자동 사전 검사에는 절반 가까이가 걸렸어요. 퓨의 방법론 책임자 코트니 케네디는 5월에 이렇게 말했어요. 퓨는 진짜 사람만 인터뷰하고, 여론을 추정하는 데 AI를 쓰지 않는다고요.

그러니까 지금 조사 시장의 두 문제는 거울상이에요. 사람에게 물으면 AI가 섞여 들어오고, AI에게 물으면 사람이 아니에요. 양쪽 다 가치가 몰리는 곳은 하나예요. “이 응답은 진짜 사람이 한 것이다”를 증명할 수 있느냐.

 

 

 

그래서, 실무에


비교와 순위에는 쓰고, 비율과 예측에는 쓰지 않아요. 엠브레인 파일럿에서 콘셉트·네이밍 평가는 차이가 작았고, 네이처 연구도 “어느 메시지가 더 효과적인가”는 잘 맞혔어요. 퓨가 틀린 건 “몇 퍼센트가 그렇게 생각하나”였고요. 상세페이지 첫 화면 세 개 중 뭐가 나은지 AI에게 물어 후보를 줄이는 건 괜찮아요. “구매 의향 62%”처럼 숫자를 받아 보고서에 넣는 건 안 돼요.

‘잘 모르겠다’와 극단값이 없으면 의심해요. AI 가상 고객 30명이 모두 “매우 만족”에 몰리거나, 아무도 “모르겠다”를 고르지 않으면 그건 사람 데이터가 아니라 고정관념 데이터예요. 결과를 받으면 평균보다 분포를 먼저 보세요. 퓨의 사람 패널은 16%가 모른다고 했어요. 우리 고객도 그만큼은 몰라요.

최근 일에 대한 반응은 묻지 않아요. 이번 달 가격 인상, 지난주 경쟁사 사건, 요즘 유행하는 밈에 대한 반응은 AI 분신이 가장 크게 틀리는 영역이에요. 퓨에서 가장 큰 오차(29점)가 전기요금 걱정이었어요. 쓰는 모델의 지식 기준일을 확인하고, 그 뒤의 일은 사람에게 물어요.

AI 가상 고객은 ‘첫 번째 독자’로 써요. 퓨가 권한 대로 주관식 답변 분류, 질문지 사전 점검, 가설 만들기에 쓰고, 조사 자체는 사람에게 해요. 우리라면 이렇게요. 새 강의 콘셉트 다섯 개를 AI 가상 수강생에게 먼저 보여 둘로 줄이고, 그 둘을 실제 수강생 20명에게 물어요. 질문지도 AI에게 먼저 돌려 “이 문항은 두 가지로 읽힌다”는 걸 잡아요. 사람 20명에게 물을 돈을 아끼는 게 아니라, 그 20명에게 더 좋은 질문을 하기 위해 AI를 쓰는 거예요.

 

 

 

결국, AI 가상 소비자는 평균적인 사람이 아니라 확신에 찬 모범생이다


AI에게 사람 수천 명을 흉내 내게 했더니, 모르는 게 없고, 뉴스는 안 보고, 자기 집단의 다수 의견을 전원 의견으로 말하는 응답자들이 나왔어요. 틀린 답을 거의 고르지 않는 응답자는 현실에 없어요. 그래서 그 데이터는 사람 데이터보다 깨끗하고, 깨끗해서 위험해요. 표와 그래프는 똑같이 나오거든요.

 

 

다음 조사 결과에 ‘잘 모르겠다’가 하나도 없다면, 그 응답자들은 사람이었을까요.

 

 

 

참고 자료

 

 

프레이님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.

 

RELATED ARTICLESMORE FROM AUTHOR