Article Review

[실험LLM/정책학] Bai et al (2025) AI가 만든 메시지, 사람의 정치적 태도를 바꿀 수 있을까?

Dr. Julia 2025. 3. 14. 03:15

 

 

 

 

 

AI가 만든 메시지, 사람의 정치적 태도를 바꿀 수 있을까?

요즘 인공지능(AI)이 점점 똑똑해지고 있습니다. 예전에는 단순한 챗봇 수준이었다면, 이제는 논리적인 글을 쓰고, 음악을 만들고, 심지어 사람과 토론까지 할 수 있습니다. 그렇다면 AI가 정치적인 문제에 대해 사람을 설득할 수 있을까요? 예를 들면, 총기 규제를 강화해야 한다거나, 탄소세를 도입해야 한다는 주장을 AI가 펼친다면, 사람들은 그 주장에 영향을 받을까요?

이 질문에 답하기 위해 스탠퍼드 대학교 연구팀은 실험을 진행했습니다. 연구의 핵심은 간단합니다. AI가 쓴 정치적 메시지가 사람의 정책 지지를 바꿀 수 있는지를 테스트하는 것입니다.

🧪 실험 개요: AI vs 인간, 누가 더 설득력이 있을까?

연구팀은 3가지 실험을 진행했고, 총 4,829명이 참여했습니다. 실험 참가자들은 무작위로 네 개의 그룹 중 하나에 배정되었습니다.

  1. AI 그룹: AI(GPT-3, GPT-3.5)가 작성한 메시지를 읽음
  2. 인간 그룹: 사람이 작성한 메시지를 읽음
  3. AI+인간 그룹: AI가 작성한 여러 개의 메시지 중 사람이 가장 설득력 있다고 선택한 메시지를 읽음
  4. 통제 그룹: 아무 관련 없는 중립적인 글을 읽음 (예: 스키의 역사)

이후 참가자들은 정책에 대한 지지를 평가했습니다. 예를 들면, “총기 규제를 강화하는 것에 찬성하십니까?”라는 질문에 처음과 나중에 각각 점수를 매겼습니다. 연구팀은 이 점수의 변화를 비교함으로써 AI가 사람을 설득할 수 있는지를 분석했습니다.

🔍 실험 방법: AI는 어떤 메시지를 만들었을까?

이번 연구에서 핵심적인 요소는 AI가 어떤 방식으로 정치적 메시지를 생성했는지입니다. 연구팀은 AI가 단순한 문장을 만드는 것이 아니라, 사람을 설득할 수 있는 논리적이고 구조적인 메시지를 생성할 수 있는지를 실험하기 위해 신중하게 접근했습니다.

🏗️ AI 메시지 생성 과정

연구팀은 OpenAI의 GPT-3 및 GPT-3.5를 사용하여 정치적 설득 메시지를 생성했습니다. 이때 AI에게 단순히 "정책을 설명해줘"라고 요청한 것이 아니라, 구체적인 지침(prompt)을 제공했습니다. AI는 연구팀이 제공한 지침을 바탕으로 다양한 메시지를 생성했으며, 연구팀은 이 메시지들이 실제로 설득력을 가질 수 있는지 평가했습니다.

🖋️ AI에 제공된 프롬프트(prompt)

예를 들어, 연구팀이 AI에게 주었던 프롬프트는 다음과 같습니다.

“약 200~250단어로 독자가 ‘공공장소에서 흡연을 금지해야 한다’는 의견에 동의하도록 설득하는 메시지를 작성하세요.”

이와 같은 방식으로 연구팀은 AI가 다양한 정치적 이슈에 대한 설득 메시지를 생성하도록 했습니다.

  • 공공장소 흡연 금지 (Study 1)
  • 돌격소총 금지 (Study 2)
  • 탄소세 도입, 유급 출산휴가, 육아 지원금, 자동 유권자 등록 (Study 3)

각 주제에 대해 AI는 "이 정책이 왜 필요한지"를 논리적으로 설명하는 메시지를 만들었습니다. 연구팀은 AI가 작성한 메시지가 단순히 정보를 나열하는 것이 아니라, **설득의 요소(논리적 근거, 감성적 호소, 사회적 가치 등)**를 갖추도록 유도했습니다.

🧐 AI 메시지 vs 인간 메시지

그렇다면 AI가 만든 메시지는 어떤 특징을 가졌을까요? 연구팀은 AI 메시지의 효과를 비교하기 위해 다음과 같은 네 개의 실험 조건을 설정했습니다.

  1. AI 그룹
    • AI(GPT-3, GPT-3.5)가 생성한 메시지를 읽음
    • AI는 연구팀이 제공한 프롬프트에 따라 정책을 지지하는 논리를 제시
    • 주로 논리적인 근거와 객관적인 데이터를 바탕으로 설득
  2. 인간 그룹
    • 인간(일반 참가자)이 작성한 메시지를 읽음
    • 참가자들에게 "설득력 있는 글을 작성하면 보상을 준다"는 동기 부여를 제공
    • 감성적 호소나 개인적 경험을 담은 글이 많았음
  3. AI+인간 그룹 (Human-in-the-Loop)
    • AI가 생성한 여러 개의 메시지 중 사람이 가장 설득력 있다고 선택한 메시지를 읽음
    • 인간이 직접 AI 메시지를 검토하고, 가장 효과적인 메시지를 선정
    • AI의 논리적 구조와 인간의 직관이 결합된 형태
  4. 통제 그룹
    • 전혀 관련 없는 중립적인 글을 읽음 (예: 스키의 역사, 지역 행사 정보)
    • 정책과 관련된 정보를 제공하지 않음

이후 참가자들은 정책에 대한 자신의 태도를 평가하고, 연구팀은 AI 메시지와 인간 메시지의 효과 차이를 비교했습니다.

📊 AI 메시지의 특징: 인간과 어떻게 다를까?

연구팀은 AI가 생성한 메시지를 인간이 쓴 메시지와 비교 분석하기 위해 **언어 분석 도구(Linguistic Inquiry and Word Count, LIWC 2022)**를 사용했습니다. 그 결과, AI 메시지와 인간 메시지는 몇 가지 차이점이 있었습니다.

🤖 AI 메시지의 주요 특징

  • 더 논리적이고 체계적: 인간보다 논리적인 구조로 글을 작성함
  • 긴 단어와 복잡한 문장 사용: 신뢰도를 높이기 위해 더 긴 단어와 문장을 사용
  • 감정을 배제함: 화를 표현하는 단어나 감정적 표현이 적음
  • "우리(we)"를 많이 사용: 개인적 경험보다는 공동체적 가치를 강조

📝 인간 메시지의 주요 특징

  • 개인적인 이야기 활용: "나는 이렇게 경험했다"는 방식으로 서술하는 경향
  • 감성적 호소: 공감과 감정을 자극하는 표현이 많음
  • 더 개성적이고 창의적: AI보다 문장 스타일이 다양하고 개성이 뚜렷함

이러한 분석을 통해 AI가 작성한 메시지가 논리적 근거와 체계적인 설득에 강점이 있는 반면, 인간이 쓴 메시지는 감성과 공감을 활용한 설득력이 높다는 차이를 확인할 수 있었습니다.

 

📊 연구 결과: AI 메시지는 얼마나 효과적이었을까?

실험 결과는 놀라웠습니다. AI가 작성한 메시지는 인간이 작성한 메시지만큼 설득력이 있었습니다. 사람들은 AI 메시지를 읽은 후 정책에 대한 지지를 유의미하게 증가시켰으며, 이 효과는 인간이 작성한 메시지를 읽었을 때와 거의 동일한 수준이었습니다.

✅ 1. AI 메시지도 사람의 태도를 바꿀 수 있다

연구팀은 실험 참가자들이 정책에 대한 태도를 얼마나 변화시켰는지를 분석했습니다. 모든 정책에서 AI 메시지를 읽은 사람들은 정책에 대한 지지가 2~4점(100점 척도 기준) 증가했습니다.

  • 공공장소 흡연 금지(Study 1): AI 메시지를 읽은 그룹이 통제 그룹보다 평균 3.6점 더 높은 지지를 보임
  • 돌격소총 금지(Study 2): AI 메시지를 읽은 그룹이 통제 그룹보다 평균 1.8점 더 높은 지지를 보임
  • 탄소세, 육아 지원금, 유급 출산휴가, 자동 유권자 등록(Study 3): AI 메시지를 읽은 그룹이 통제 그룹보다 평균 3.1점 더 높은 지지를 보임

즉, AI가 만든 메시지는 정책에 대한 사람들의 태도를 실제로 변화시킬 수 있었습니다. 특히 정치적으로 논란이 많은 정책(예: 총기 규제)에서도 AI 메시지가 사람들의 의견을 바꾸는 데 효과가 있었습니다.

🔄 2. AI와 인간 메시지의 효과는 비슷했다

AI가 만든 메시지의 효과가 인간이 작성한 메시지와 비교했을 때 얼마나 유사한지를 확인하기 위해 연구팀은 AI 그룹과 인간 그룹의 태도 변화를 비교했습니다.

그 결과, AI 메시지를 읽은 사람들의 태도 변화와 인간 메시지를 읽은 사람들의 태도 변화는 통계적으로 유의미한 차이가 없었습니다. 다시 말해, AI가 작성한 메시지는 인간이 작성한 메시지와 동일한 수준의 설득력을 갖고 있었습니다.

  • 공공장소 흡연 금지(Study 1): AI vs. 인간 메시지의 효과 차이 없음
  • 돌격소총 금지(Study 2): AI vs. 인간 메시지의 효과 차이 없음
  • 탄소세, 육아 지원금, 유급 출산휴가, 자동 유권자 등록(Study 3): AI vs. 인간 메시지의 효과 차이 없음

이는 AI가 단순한 정보 제공이 아니라, 실제로 설득력을 가진 메시지를 생성할 수 있음을 의미합니다.

🔍 3. AI 메시지는 특히 민주당 지지자들에게 더 효과적이었다

흥미로운 점은 AI 메시지의 설득 효과가 정치 성향에 따라 다르게 나타났다는 것입니다. 연구팀은 참가자들의 **정당 성향(민주당 vs 공화당)**을 기준으로 AI 메시지의 효과를 분석했습니다.

그 결과, AI 메시지는 민주당 지지자들에게 더 큰 영향을 미쳤고, 공화당 지지자들에게는 상대적으로 효과가 적었습니다.

  • 민주당 지지자들은 AI 메시지를 읽은 후 정책 지지를 평균 5.2점 증가
  • 공화당 지지자들은 AI 메시지를 읽은 후 정책 지지를 평균 1.8점 증가

이 차이는 AI가 작성한 메시지의 내용 때문일 가능성이 큽니다. AI는 방대한 텍스트 데이터를 학습하여 메시지를 생성하는데, 일반적으로 온라인 텍스트의 경향이 민주당 성향의 정책(환경 보호, 총기 규제, 복지 확대 등)을 더 많이 반영하기 때문일 수 있습니다.

🤔 4. 사람들은 AI가 작성한 메시지를 인간이 쓴 것으로 착각했다

또 다른 흥미로운 결과는 참가자들이 AI 메시지가 AI가 만든 것인지 알아차리지 못했다는 점입니다.

실험 중 참가자들에게 **“이 메시지는 누가 작성한 것 같습니까?”**라는 질문을 했을 때, AI 메시지를 읽은 사람들 중 94.4%가 인간이 작성한 메시지라고 생각했습니다.

  • AI가 작성한 메시지를 **AI가 썼다고 맞힌 사람은 5.6%**에 불과
  • 인간이 작성한 메시지를 인간이 썼다고 맞힌 사람은 94.7%

즉, AI가 만든 메시지는 사람들이 평소 접하는 정치적 설득 메시지와 거의 구분되지 않았습니다.

이 결과는 AI가 인간처럼 자연스러운 언어로 설득력 있는 메시지를 만들 수 있으며, 사람들은 이를 충분히 신뢰할 수 있음을 시사합니다.

📌 연구 결과 요약

✅ AI가 만든 메시지는 정책 지지를 실제로 변화시킬 수 있었다.
✅ AI와 인간이 만든 메시지의 설득 효과는 비슷했다.
✅ AI 메시지는 민주당 지지자들에게 더 강한 영향을 미쳤다.
✅ 사람들은 AI 메시지를 인간이 쓴 것이라고 착각했다.

이 연구는 AI가 정치적 메시지를 작성하는 데 있어 인간과 비슷한 수준의 설득력을 가질 수 있음을 실험적으로 증명한 것입니다. AI가 정치 캠페인, 정책 홍보, 여론 형성 등에 활용될 가능성이 높다는 것을 보여주는 결과이기도 합니다.

하지만 AI가 이런 메시지를 무제한으로 생성할 수 있다면, 정치적 조작이나 여론 조작의 도구로 악용될 가능성도 있습니다. 연구팀은 이에 대한 윤리적 문제를 논의하며, AI가 생성한 정치적 메시지에 대한 규제와 투명성 확보가 필요하다고 강조했습니다.

💡 여러분은 AI가 정치적 메시지를 만드는 것이 긍정적이라고 생각하시나요? 아니면 위험 요소가 더 크다고 보시나요?

 

저작자표시 비영리 변경금지