[실험/LLM 정치학] Ibrahim et al (2025) 틱톡은 정치적인가?

Article Review

[실험/LLM 정치학] Ibrahim et al (2025) 틱톡은 정치적인가?

Dr. Julia 2025. 2. 4. 07:44

TikTok 알고리즘, 공화당 콘텐츠를 더 추천했다? – 2024 미국 대선 기간 분석

2024년 미국 대선을 앞두고, 소셜미디어 플랫폼 TikTok이 정치적으로 편향된 콘텐츠를 추천하는지 여부는 큰 관심을 받았다. 하지만 이에 대한 실증적인 연구는 부족한 상황이었다. NYU 아부다비 연구팀이 발표한 “TikTok’s recommendations skewed towards Republican content during the 2024 U.S. presidential race” 논문은 이 문제를 체계적으로 검증한 연구로, TikTok의 알고리즘이 공화당 성향의 콘텐츠를 더 많이 추천했다는 점을 발견했다. 이번 포스팅에서는 연구의 핵심 주장과 방법론, 그리고 그 결과를 쉽게 풀어보려 한다.

TikTok, 정치적으로 중립적이지 않다? 연구의 핵심 주장

이 연구는 TikTok의 추천 알고리즘이 공화당 성향의 콘텐츠를 더 많이 제공하고, 민주당 성향의 사용자들에게는 상대 정당(공화당) 콘텐츠를 더 노출시킨다는 점을 발견했다. 구체적으로,

공화당 성향으로 설정된 계정은 민주당 성향 계정보다 평균 11.8% 더 많은 공화당 콘텐츠를 추천받음.
민주당 성향 계정은 공화당 계정보다 7.5% 더 많은 반대당(공화당) 콘텐츠를 접하게 됨.
이러한 현상은 뉴욕(민주당 강세), 텍사스(공화당 강세), 조지아(경합주)에서 모두 관찰됨.
이 차이는 단순히 특정 정당 콘텐츠의 조회수, 좋아요, 공유 수 등의 인기 척도 때문이 아니라 TikTok 알고리즘의 추천 방식에 기인함.
알고리즘이 부정적 정치 콘텐츠(상대 정당을 비판하는 콘텐츠)를 더 많이 추천하는 경향을 보임.

이 연구는 TikTok이 젊은 층에게 중요한 뉴스 소비 채널이라는 점에서 플랫폼 중립성 문제를 제기하며, 정치적 편향이 선거 과정과 민주주의에 미치는 영향을 강조한다.

연구 방법론: '가짜 계정'(Sock Puppets) 실험 – TikTok의 정치적 편향을 밝히다

TikTok의 추천 알고리즘이 특정 정치 성향을 띠고 있는지 검증하기 위해 연구팀은 ‘가짜 계정’(Sock Puppets) 실험을 설계했다. 이 실험은 실제 사용자를 흉내 내는 자동화된 계정을 생성하고, 이들이 특정 정치적 콘텐츠를 소비하도록 한 후 TikTok이 어떤 유형의 콘텐츠를 추천하는지를 분석하는 방식으로 진행되었다.

연구의 목표는 TikTok의 추천 시스템이 특정 정치적 성향의 콘텐츠를 더 많이 노출하는지 확인하는 것이었다. 이를 위해 연구팀은 TikTok 계정을 주(州)와 정치적 성향별로 구분하여 실험을 진행했으며, 철저하게 통제된 환경에서 자동화된 데이터 수집, VPN과 GPS 스푸핑을 통한 위치 변경, AI 기반 정치 콘텐츠 분류 등의 방법을 활용했다.

TikTok 환경을 우회하는 가짜 계정 생성 과정

TikTok은 사용자의 GPS 위치와 IP 주소를 기반으로 콘텐츠 추천을 조정하기 때문에, 연구팀은 가짜 계정이 특정 주(州)에 거주하는 것처럼 보이도록 정교한 기술적 조작을 수행했다.

1. 매주 21개의 새로운 TikTok 계정 생성

매주 21개의 새로운 TikTok 계정을 생성했으며, 실제 사용자의 행동을 시뮬레이션하기 위해 다음과 같은 설정을 적용했다.

계정명은 미국에서 흔한 이름과 성씨를 무작위로 조합하여 생성했다.
사용자의 연령은 22~24세로 설정했다. 이는 TikTok을 활발히 이용하는 젊은 유권자 연령층을 반영한 것이다.
각 계정은 특정 정치 성향(민주당/공화당) 또는 중립(정치적 관심 없음)으로 분류되었다.
VPN과 GPS 조작을 통해 계정을 특정 지역에 위치시켰다.

각 주에 배정된 계정의 개수는 다음과 같다.

주(州) 위치민주당 성향 콘텐츠공화당 성향 콘텐츠중립(콘디셔닝 없음)

뉴욕	✅ (3개)	✅ (3개)	❌ (0개)
조지아	✅ (3개)	✅ (3개)	✅ (3개)
텍사스	✅ (3개)	✅ (3개)	❌ (0개)

조지아는 **경합주(Swing State)**이기 때문에, 정치적 성향을 부여하지 않은 중립 계정을 추가로 배치하여 TikTok의 기본 추천 패턴을 확인하는 비교 대상으로 활용했다.

TikTok의 위치 기반 추천을 우회하는 기술적 조치

TikTok은 사용자의 위치를 GPS와 네트워크 IP 정보를 통해 감지하기 때문에, 연구팀은 이를 우회하기 위해 GPS 조작과 맞춤형 VPN 서버를 활용했다.

GPS 변경 프로그램(AnyTo) 활용
- TikTok이 계정을 특정 주에서 접속한 것으로 인식하도록, GPS 좌표를 조작했다.
- 각 주에서 강한 정치적 성향을 보이는 특정 카운티의 좌표로 설정했다.
  - 뉴욕: 맨해튼 (40.7308, -73.9976)
  - 텍사스: 콜린 카운티 (33.148, -96.638)
  - 조지아: 콥 카운티 (33.961, -84.537)
VPN을 활용한 IP 주소 변경
- 상업용 VPN 대신, 연구팀이 직접 구축한 VPN 서버를 사용하여, TikTok이 계정을 실제 해당 지역에서 접속한 것으로 인식하도록 했다.
- 이는 TikTok이 일반적인 VPN 사용자를 탐지하는 알고리즘을 우회하기 위한 조치였다.
TikTok 앱 설치 및 캐시 초기화
- GPS와 VPN이 설정된 후에만 TikTok을 설치하여, TikTok이 처음부터 해당 지역에서 가입한 계정이라고 인식하게 했다.
- 매주 실험이 끝난 후, **스마트폰을 공장 초기화(factory reset)**하여 모든 TikTok 관련 데이터를 삭제하고, 다음 실험이 이전 데이터에 영향을 받지 않도록 했다.

1단계: 콘디셔닝 (Conditioning Stage) – 정치적 성향 학습시키기

TikTok의 추천 알고리즘이 사용자의 정치적 성향을 어떻게 학습하는지 확인하기 위해, 연구팀은 각 가짜 계정이 특정한 정치 콘텐츠를 일정 기간 동안 강제 시청하도록 설정했다.

정치적 성향별 TikTok 채널 선정
- "Trump", "Biden", "Democrat", "Republican" 등의 키워드를 검색하여, 민주당·공화당 성향이 뚜렷한 TikTok 채널을 선정했다.
- 선정된 채널은 다음 기준을 충족해야 했다.
  1. 대부분의 콘텐츠가 정치적 주제를 다룰 것.
  2. 특정 정당(민주당 또는 공화당)을 일관되게 지지할 것.
- 최종적으로 각 정당당 27개씩, 총 54개 채널을 선정하고, 유사한 수준의 인기(팔로워 수, 좋아요 수)를 가진 채널을 매칭했다.
콘디셔닝 단계에서 영상 시청 방식
- 각 가짜 계정은 8개의 정치 성향이 동일한 채널에서 최신 50개 영상을 시청했다.
- 각 영상은 1분 동안 시청하여, 단순 스크롤이 아닌 실제 관심을 가지는 것처럼 보이도록 했다.
- 이를 통해 계정은 총 400개의 정치적 영상을 시청하며 TikTok의 알고리즘에 특정 성향을 학습시켰다.
- 시청 후 **24시간 동안 TikTok을 사용하지 않는 ‘휴식 시간’**을 두어 자연스러운 사용자 패턴을 모방했다.

2단계: 추천 콘텐츠 수집 (Recommendation Stage) – TikTok의 알고리즘 반응 확인

TikTok이 해당 계정에 어떤 영상을 추천하는지 분석하기 위해, 콘디셔닝 단계 후 ‘For You’ 페이지에서 추천 영상을 시청하는 단계가 진행되었다.

영상 수집 방식
- 각 가짜 계정은 TikTok이 추천하는 최대 10개의 영상을 시청한 후, 60분 동안 휴식.
- 이후, 다시 새로운 10개의 영상을 시청하는 과정을 반복했다.
- TikTok 앱을 매 시간마다 다시 로드하여, 이전 세션에서 미리 로드된 콘텐츠가 아닌, 실제 실시간 추천 콘텐츠를 반영하도록 했다.
데이터 수집
- 추천된 영상의 URL, 작성자, 해시태그, 댓글 수, 좋아요 수, 공유 수, 전체 조회 수 등의 메타데이터를 저장했다.
- 영상에 자동 생성된 자막(Transcript)이 있는 경우, 이를 다운로드하여 내용 분석에 활용했다.

3단계: 추천 콘텐츠 분석 – TikTok의 정치적 편향 측정

TikTok의 추천 알고리즘이 특정 정치적 성향을 지닌 콘텐츠를 더 많이 추천하는지 혹은 균형 잡힌 방식으로 추천하는지를 분석하기 위해, 연구팀은 추천된 영상의 정치적 성향과 내용 분석을 수행했다.

이 단계에서는 TikTok의 ‘For You’ 페이지(FYP)에서 추천된 영상을 체계적으로 분류하고, 해당 영상이 민주당 또는 공화당에 유리한지, 중립적인지, 또는 특정 정치적 메시지를 포함하고 있는지를 평가했다. 이를 위해 연구팀은 대규모 언어 모델(LLM)을 활용한 자동화된 텍스트 분석, 사람이 직접 검토한 샘플 검증, 추천 알고리즘이 특정 콘텐츠를 선호하는지 검증하기 위한 반사실적(counterfactual) 모델을 포함한 다층적인 분석을 진행했다.

1. 추천된 콘텐츠의 정치적 성향 분류

TikTok이 추천한 영상을 정치적 관점에서 분류하기 위해, 연구팀은 대규모 언어 모델(LLM) 기반의 자동화된 분석 기법을 활용했다.

(1) 정치적 콘텐츠 여부 판별

추천된 영상 중에서 정치와 무관한 영상과 정치적 내용을 포함한 영상을 구분하기 위해, 각 영상의 자막(transcript)을 기반으로 LLM을 사용하여 다음과 같은 질문을 던졌다.

"이 영상의 내용이 정치적이라고 볼 수 있는가?"

LLM의 답변이 "Yes"인 경우, 해당 영상이 정치적 콘텐츠로 분류되었다.

(2) 특정 선거 및 정치인 관련성 평가

정치적 영상으로 판별된 경우, 이 영상이 2024년 미국 대선이나 특정 정치인(조 바이든, 도널드 트럼프, 카말라 해리스 등)과 관련이 있는지 추가로 평가했다.

"이 영상은 2024년 미국 대선 또는 주요 정치인(조 바이든, 도널드 트럼프, 카말라 해리스, JD 밴스, 팀 월츠)과 관련이 있는가?"

이 질문을 통해 선거와 직접적으로 연결된 콘텐츠를 선별할 수 있었다.

(3) 정치적 입장 분류

최종적으로, 선거 또는 정치인과 관련된 영상은 그 내용이 민주당 또는 공화당에 유리한지, 반대하는지, 혹은 중립적인지를 평가했다.

이를 위해 LLM에게 다음과 같은 프롬프트를 입력했다.

"이 영상의 내용을 다음 중 하나로 분류하라:

반(反) 민주당(Anti Democrat)

반(反) 공화당(Anti Republican)

친(親) 민주당(Pro Democrat)

친(親) 공화당(Pro Republican)

중립(Neutral)"

이렇게 분류된 영상의 결과는 다음과 같았다.

정치 성향영상 수 (개)

반 민주당	1,949
반 공화당	1,177
친 민주당	667
친 공화당	586
중립	3,389

결과적으로, 반 민주당(Anti Democrat) 영상이 가장 많았고, 친 공화당(Pro Republican) 영상이 가장 적었다.

2. 사람의 검토를 통한 모델 검증 (Human Validation)

자동화된 분석의 정확도를 검증하기 위해, 정치학을 전공한 대학생 3명이 500개의 무작위 샘플을 직접 분류했다.

각 평가자는 독립적으로 영상을 분류했으며, 웹 검색을 허용하여 내용 이해도를 높였다.
자동화된 모델(LLM)의 예측과 사람이 분류한 결과의 일치도를 측정하여, 신뢰도를 평가했다.
Fleiss' Kappa 및 Krippendorff’s Alpha와 같은 신뢰도 측정 지표를 활용해 평가자의 일관성을 검토했다.

이 검토 결과, LLM의 자동 분류는 90% 이상의 정확도를 보였으며, 특히 정치적 입장(친공화당/친민주당/반공화당/반민주당) 분류에서 높은 신뢰도를 확보했다.

3. TikTok 추천 알고리즘의 정치적 편향 분석 (Bias Measurement in TikTok's Algorithm)

TikTok의 추천 시스템이 특정 정치적 성향의 콘텐츠를 더 많이 추천하는지 검증하기 위해, 연구팀은 반사실적(counterfactual) 모델을 적용했다.

(1) 추천 비율과 정치적 성향 간의 관계 분석

특정 성향의 콘텐츠(예: 공화당 지지 콘텐츠)가 TikTok의 추천 비율이 더 높은지 확인하기 위해,
- 실제 추천된 콘텐츠의 비율과
- 각 콘텐츠의 인기(좋아요 수, 댓글 수, 공유 수 등)에 따른 예상 추천 비율을 비교했다.

(2) 반사실적 모델을 활용한 TikTok 추천의 정치적 경향성 평가

연구팀은 TikTok의 추천이 콘텐츠의 본래 인기와 관계없이 특정 정치적 성향을 띠고 있는지를 평가하기 위해 다음과 같은 반사실적(counterfactual) 모델을 사용했다.

모델 1: 단순히 각 콘텐츠의 좋아요 수, 댓글 수, 공유 수 등을 기준으로 예상되는 추천 비율을 계산하고 실제 추천 비율과 비교.
모델 2: 채널의 인기도(구독자 수, 채널 누적 좋아요 수 등)를 반영하여 예상되는 추천 비율을 조정하고, 실제 추천 비율과 비교.
모델 3: 위 두 가지 요소를 결합하여 TikTok이 단순한 콘텐츠 인기 이상으로 정치적 편향성을 보이는지 평가.

이 반사실적 분석을 통해 TikTok이 콘텐츠의 단순한 인기(popularity)만이 아니라, 특정 정치적 입장에 유리한 방향으로 추천을 조정할 가능성이 있음을 확인했다.

연구 결과: TikTok 알고리즘의 공화당 편향

1. 공화당 성향 계정에 더 많은 공화당 콘텐츠 추천

TikTok은 공화당 성향 계정에 더 높은 확률로 공화당 콘텐츠를 추천하는 것으로 나타났다. 공화당 계정은 민주당 계정보다 약 11.8% 더 많은 같은 정당의 콘텐츠를 추천받았다.

2. 민주당 성향 계정은 반대당 콘텐츠(공화당)를 더 많이 시청

반면, 민주당 성향 계정은 공화당 콘텐츠를 더 많이 노출받았다. 구체적으로, 민주당 계정은 공화당 계정보다 7.5% 더 많은 반대당(공화당) 콘텐츠를 보았다.

3. '부정적 정치 콘텐츠'가 더 많이 추천됨

TikTok 알고리즘은 단순한 정당 지지 영상보다 상대 정당을 비판하는 ‘부정적 정치 콘텐츠’를 더 많이 추천했다.

민주당 계정에는 반(反) 공화당 영상이 가장 많이 추천됨.
공화당 계정에는 반(反) 민주당 영상이 가장 많이 추천됨.
공화당 성향 계정은 특히 부정적 정치 콘텐츠가 더 많이 추천되는 경향을 보임.

4. TikTok의 추천 알고리즘, 단순한 인기 콘텐츠 반영이 아니다

연구팀은 TikTok의 추천이 단순히 조회수, 좋아요, 공유 수가 높은 영상 때문이 아니라, 알고리즘의 특성 때문임을 밝혀냈다.

특정 정당 성향의 영상이 TikTok에서 더 인기 있는 것이 아니라, TikTok이 적극적으로 특정 성향의 콘텐츠를 더 많이 노출하고 있었다.
같은 조건에서 TikTok은 공화당 성향 영상을 민주당 성향 영상보다 더 추천하는 경향을 보였다.

TikTok의 정치적 영향과 시사점

이 연구는 TikTok이 젊은 유권자들의 정보 소비 패턴에 미치는 영향을 강조한다. 특히, 2024년 대선에서 젊은 층의 공화당 지지가 2020년 대비 10% 증가했다는 점을 고려하면, TikTok이 공화당 콘텐츠를 더 많이 추천한 것이 선거에 영향을 미쳤을 가능성이 있다.

향후 연구 방향

연구팀은 TikTok 알고리즘의 정치적 편향성을 더욱 정밀하게 분석하기 위해,

실제 사용자 데이터와 결합한 연구
이미지 및 음성을 포함한 다각적 분석
대선 이후에도 지속되는 알고리즘 패턴 조사
다른 소셜미디어 플랫폼과 비교 연구
등이 필요하다고 제안했다.

결론: TikTok, 정말 중립적인가?

TikTok은 단순한 엔터테인먼트 플랫폼이 아니라, 뉴스와 정치적 정보가 전달되는 핵심 채널이 되고 있다. 그러나 이번 연구는 TikTok의 추천 알고리즘이 정치적 편향성을 띠며, 공화당 콘텐츠를 더 많이 추천하는 경향이 있음을 실증적으로 밝혔다.

이는 소셜미디어 플랫폼이 선거 및 민주주의에 미치는 영향을 다시금 생각하게 하는 중요한 연구라 할 수 있다.

저작자표시 비영리 변경금지