[LLM/서베이] Bachmann et al (2025)GPT-4로 정치 설문 시작 문제 해결하자!
🎯 GPT-4로 정치 설문 시작 문제 해결하기: "Adaptive Political Surveys and GPT-4" 논문 쉽게 풀기
요즘 GPT 같은 대형 언어 모델(LLM)이 설문조사에도 사용된다는 거 알고 계셨나요? 오늘 소개할 논문은 바로 이 GPT-4를 이용해서 정치 설문조사의 ‘콜드 스타트(cold start)’ 문제를 해결하는 새로운 방법을 제안합니다.
콜드 스타트란, 설문 시작 초기에 데이터가 없어서 좋은 질문을 고르기 힘든 문제예요. 예를 들어, 정치 성향을 파악하기 위해 설문을 구성하려는데, 사용자 반응 데이터가 없으면 어떤 질문부터 던져야 할지 막막하겠죠?
이 논문에서는 스위스의 Smartvote 정치 설문 데이터를 활용해서, GPT-4가 가상의 정치인 응답을 생성하고, 그 데이터를 설문 모델 훈련에 사용해 콜드 스타트를 해결할 수 있는지를 실험합니다.
🔍 방법론 더 자세히 뜯어보기: GPT-4가 설문 데이터를 어떻게 만들어내고, 모델은 어떻게 작동할까?
이 논문에서 핵심은 단 하나입니다:
“초기 설문 응답자가 없을 때, GPT-4가 대신 데이터를 만들어줄 수 있을까?”
이 질문을 실험적으로 검증하기 위해 저자들은 두 개의 큰 실험을 설계했어요.
📌 실험 개요
- GPT-4가 생성한 가상 정치인 응답이 실제 정치인의 응답과 얼마나 비슷한가?
- 그 데이터를 이용해 설문 시스템(통계 모델)을 미리 훈련시키면, 콜드 스타트 문제를 해결할 수 있을까?
1️⃣ 데이터 기반: Smartvote 정치 설문 (스위스)
- 질문 수: 총 75개의 정치 이슈 질문
- 응답 방식: 리커트 척도 (4
7점) → 01 사이 숫자로 정규화 - 대상자:
- 취리히 지역의 8개 주요 정당 소속 후보자 1,029명
- 해당 지역 유권자 25,783명
여기서 후보자 응답은 “정답 데이터”, 유권자 응답은 “사용자 시뮬레이션”에 쓰입니다.
2️⃣ GPT-4로 가상 응답 생성하기: Prompt Engineering
✅ 기본 구조
GPT-4에게 정당별 정치인 역할을 주고, 75개 문항에 하나씩 답변하게 합니다.
- 시스템 프롬프트 예시:
- 당신은 스위스의 자유당(FDP) 소속 정치인입니다. 당의 입장에 맞춰 응답해주세요. 답변은 0(완전 반대) ~ 100(완전 찬성) 사이 숫자로만 하세요. 이유는 쓰지 마세요.
- 유저 프롬프트 예시:
- 다음 문항을 평가하세요: "은퇴 연령을 67세로 늘리는 것에 찬성하십니까?"
이걸 각 정당당 50번 반복해서 총 400개의 응답 데이터를 수집합니다.
✅ 다양성 확보: Temperature 조절
- temperature 값은 1~2 사이로 조정. 숫자가 높을수록 GPT-4의 응답에 랜덤성이 더해짐.
- 결과적으로 같은 정당이라도 다양한 정치 성향을 모사할 수 있도록 유도.
✅ 추가 데이터셋 2종 생성
- GPTmeans: 각 정당의 평균 응답 (정당 8개 × 1개 = 8개 데이터)
- GPTvoters: 실제 유권자처럼 중간적인 성향을 띠도록 GPT 응답을 선형 조합한 데이터셋 (이건 진짜 대박 아이디어입니다)
3️⃣ 통계 모델 구성: PCA + 로지스틱 회귀
GPT-4가 만든 데이터로 “설문 시스템”을 훈련시킵니다. 이 시스템은 다음과 같은 구조예요.
✅ 모델 구성
- 1단계: 차원 축소 (PCA)
후보자 혹은 GPT 응답 데이터를 2차원 정치 성향 공간으로 투영
→ 예: 수평축은 좌-우, 수직축은 진보-보수 - 2단계: 각 문항별 로지스틱 회귀 (Logistic Regression)
PCA 공간상에서 각 질문에 대한 ‘동의할 확률’을 계산하는 회귀식을 만듦.
→ 예: 특정 좌표에 위치한 유저가 “노령연금 인상” 문항에 찬성할 확률이 얼마일까?
✅ 왜 이렇게 했을까?
- 전통적인 IRT(문항반응이론)는 복잡하고 느려요.
- PCA + LR 조합은 빠르고 계산 효율성이 뛰어나며, 실제 정치 데이터에 잘 들어맞음.
4️⃣ 질문 선택 알고리즘: 가장 ‘불확실한’ 질문부터 던진다
모델이 각 사용자에게 어떤 질문을 던질지 결정할 때 쓰는 기준은 다음과 같습니다.
- Gini Impurity (지니 불순도):
→ 사용자가 해당 문항에 찬성할 확률이 50%일 때 정보량이 가장 큼!
→ 즉, 예측이 애매한 질문을 먼저 물어봄
✅ 이 전략의 장점
- 빠르게 사용자 성향을 파악 가능
- 쓸모 없는 질문 낭비 없이 효율적 진행 가능
5️⃣ 시뮬레이션 실험: 사용자들이 설문에 참여하는 상황을 가상으로 테스트
- 1,000명의 유권자가 순차적으로 설문에 참여한다고 가정
- 각 사람은 K개(예: 5개, 10개, … 45개)의 질문에만 응답하고 중도 이탈(dropout)
- 남은 질문의 답변은 모델이 예측함 (imputation)
실험 조건은 총 5가지:
- 아무 초기 데이터도 없는 모델 (Coldstart)
- GPT로 생성된 데이터로 초기화 (GPT)
- 평균값으로 축약된 GPTmeans
- 혼합 유권자 스타일인 GPTvoters
- 실제 후보자 응답 데이터로 초기화 (Candidates, 오라클 역할)
6️⃣ 성능 평가: 2가지 기준
- RMSE (Root Mean Squared Error):
→ 예측된 응답과 실제 응답 사이의 평균 오차
→ 작을수록 좋음 - CRA (Candidate Recommendation Accuracy):
→ 이 사람에게 추천된 후보자가 실제 응답 기준으로 추천했을 때와 얼마나 일치하나
→ 클수록 좋음
7️⃣ 추가 변수: 교체율(γ)
초기 GPT-4 데이터는 점점 사용자 실제 응답으로 대체됩니다.
→ 얼마나 빠르게 대체할지를 결정하는 것이 γ(감마) 값입니다.
- 예: γ = 2이면, 5명의 사용자 응답이 들어올 때마다 GPT 데이터 10개를 버림
- γ가 너무 작으면 오래도록 GPT 데이터에 의존, 너무 크면 초기화 의미가 약해짐
🧠 한 줄 요약
"GPT-4가 만든 가짜 정치인 데이터로도, 설문 모델을 ‘충분히’ 미리 훈련시켜 콜드 스타트 문제를 효과적으로 해결할 수 있다."
📊 실험 결과: GPT-4가 만든 데이터, 진짜 쓸만할까?
앞서 설명한 실험을 바탕으로, 저자들은 두 가지 큰 질문에 대해 답을 찾고자 했어요:
- GPT-4가 만든 응답이 실제 정치인과 얼마나 비슷한가?
- 이 가상 응답으로 훈련한 설문 모델은 실제 사용자 데이터를 얼마나 잘 예측하는가?
아래에 각 실험의 결과를 정리했습니다.
✅ 실험 1: GPT-4는 실제 정치인처럼 답변할 수 있을까?
핵심 요약
- GPT-4가 생성한 응답은 **당의 공식 입장(당 평균값)**과 매우 유사했습니다.
- 오히려 일부 정당의 실제 후보자들보다도 GPT 응답이 당 입장에 더 가까운 경우도 있었어요!
구체적 결과
- 전체 평균적으로 GPT 응답의 당-평균 거리: 0.165
- 실제 후보자의 당-평균 거리: 0.186
- 웰치 t-검정 결과: 대부분의 정당에서 GPT가 통계적으로 유의하게 더 당 입장에 가까움
📌 예외:
- **SP(좌파 사회민주당)**와 **FDP(우파 자유당)**에서는 GPT가 실제 후보자보다 약간 더 중심 성향을 보임
→ GPT-4가 극단적인 정치 성향을 제대로 표현하지 못하는 경향
시각 자료 요약 (Fig 3 & Fig 4)
- GPT 응답은 정당별로 잘 구분된 클러스터를 형성 (즉, 같은 당이면 응답 경향이 비슷함)
- 그러나 정치적 극단성(extremity)은 다소 약한 편 (실제 후보자보다 중도 성향)
✅ 실험 2: GPT-4 응답으로 초기화된 설문 모델, 얼마나 잘 작동할까?
평가 기준 1: RMSE (미응답 예측 정확도)
- 초기 사용자 100~200명 수준에서는 GPT로 훈련된 모델이 Coldstart(초기화 안 된 모델)보다 압도적으로 낮은 오류를 보임
- 특히 GPTvoters 데이터로 훈련된 모델이 가장 낮은 RMSE로 시작함 (0.315)
💡 예시:
- Coldstart는 초기 RMSE가 0.42에서 시작
- GPTvoters는 0.315에서 시작
- Coldstart 모델이 **GPTvoters 모델을 따라잡는 지점 (break-even point)**은 약 175명 사용자 이후
평가 기준 2: CRA (후보자 추천 정확도)
- GPTvoters 모델은 시작부터 CRA 43.2%, Coldstart는 24.8%
- 추천 정확도 면에서 거의 20% 가까이 차이
- CRA에서도 break-even point는 약 485명 사용자 이후 발생
결과 요약표 (K = 30 기준):
| Coldstart | 0.420 | 24.8% | - |
| GPTvoters | 0.315 | 43.2% | RMSE: 175 / CRA: 485 |
| GPTmeans | 0.359 | 40.5% | RMSE: 빠르게 감소 |
| GPT | 0.327 | 42.3% | CRA 개선은 제한적 |
🔁 Break-even Point 실험 결과
사용자가 설문에 많이 응답할수록, Coldstart 모델도 성능이 올라가 결국 GPT 모델을 따라잡아요.
- RMSE 기준:
→ 질문 수가 많을수록 break-even이 빨리 옴 (K × 사용자 수 ≈ 4,500일 때 도달)
→ → 예: K=45면 100명 만에 도달, K=5면 900명 필요 - CRA 기준:
→ 패턴이 복잡함.
→ 적은 질문 수(K=5)에선 모델 성능 자체가 낮기 때문에 GPT의 초기 이점이 크지 않음
→ 중간 정도의 질문 수(K=20)에서 GPT 모델이 가장 오래 우세
⚠️ 부작용/편향 검토: GPT 데이터로 훈련했을 때 생기는 위험은?
- GPT 데이터로 초기화된 모델은 중도적(덜 극단적인) 후보자를 더 추천하는 경향이 있음
- 하지만 질문 수(K)가 늘어나면, 이 편향은 점점 줄어듬
| 5 | 20.7 | 22.7 |
| 30 | 9.1 | 6.6 |
| 45 | 4.6 | 3.3 |
📌 요점: 질문을 많이 받을수록 모델의 편향도 줄어든다
🔁 교체율(γ)의 영향
- GPT 데이터 → 실제 사용자 응답으로 얼마나 빨리 바꾸느냐에 따라 성능 차이 발생
- 실험 결과: γ = 4~8일 때 가장 안정적
→ 즉, 1,000명 사용자 응답이 들어오기 전에 전부 교체되도록 설정할 때 최적 성능
🧠 결론 요약
- GPT-4는 정당별 정치 성향을 상당히 잘 학습함
- 생성된 데이터로 초기화하면, 초기 사용자 응답 예측 정확도가 획기적으로 향상됨
- 단, 시간이 지나면 실제 사용자 데이터가 더 나은 모델로 진화함
- 따라서 GPT는 초기 부트스트랩용으로 활용하면 매우 효과적
- 질문 수(K), 사용자 수, 교체율(γ)을 적절히 설정하면 장기적으로도 편향 없이 안정적 설문이 가능함
📌 이 논문은 단순한 GPT 실험이 아닙니다. 정치 설문 도구의 초기 데이터 문제를 해결하는 데 있어 LLM이 어떻게 보완적 역할을 할 수 있는지를 정교하게 보여준 사례입니다.