대규모 언어 모델을 활용한 한국어 가짜뉴스 탐지: 한계와 가능성
Detecting Fake News in Korean Using Large Language Models: Limitations and Possibilities
- 발행
- 2024 등록KCI API에는 발행일 항목이 없어 원문 등록일을 쓰고 있습니다. 실측으로 발행보다 최대 6년 늦습니다 — 재수집하면 발행연월로 바뀝니다.
- 소속·발행
- 국민대학교 비즈니스IT전문대학원
- 출처
- 국내 KCI
- DOI
- 10.15813/kmr.2024.25.4.006
- 원문
- 원문 보기 ↗
개념
키워드
가짜뉴스 탐지, 허위정보, 대규모 언어 모델, 한국어 데이터셋, 요약, Fake news detection, Misinformation, Large Language Model, Korean dataset, Summarization
초록
가짜뉴스는 디지털 플랫폼과 소셜 미디어를 통해 빠르게 확산되며, 사회적 신뢰와 공적 담론에 부정적인 영향을 미치 는 중요한 문제로 대두되고 있다. 그런 가운데 최근 대규모 언어 모델(Large Language Models)의 발전은 자연어 처리 기 술의 새로운 가능성을 열었으며, 이러한 모델의 활용은 가짜뉴스 탐지와 같은 중요한 사회적 문제 해결에도 기여하고 있 다. 본 연구는 가짜뉴스의 여러 유형 중 허위정보(misinformation)를 중심으로 한국어 환경에서 LLM 기반 가짜뉴스 탐지 의 가능성과 한계를 분석하고자 한다. 이를 위해 서울대학교 SNU팩트체크에서 수집한 500개의 한국어 뉴스 기사를 기 반으로 한 벤치마크 데이터셋을 구축하였으며, 기사 요약 방식을 적용하여 추출형 및 생성형 데이터셋을 추가로 설계하 였다. 본 연구는 세 가지 연구 질문을 중심으로 진행되었다: (1) 한국어 환경에서 LLM 기반 가짜뉴스 탐지가 효과적인 가, (2) 어떤 요약방식이 LLM을 활용한 가짜뉴스 탐지에 효과적인가?, (3) 탐지 성능을 향상시키기 위한 최적의 방법은 무엇인가? 분석 결과, 한국어 데이터셋에서 LLM 기반 탐지 성능은 영어 중심 연구 대비 낮은 정확도(59.8%)를 보였다. 또한, 요약 텍스트를 활용한 실험에서는 문장이 짧아질수록 탐지 성능이 감소하였으며, 생성형 요약이 추출형 요약보다 다소 우수한 성능을 보였다. 마지막으로, 가짜뉴스 탐지의 기준이 되는 7가지 이유를 반영한 개선된 프롬프트를 도입하 여 탐지 정확도를 소폭(62.1%) 개선할 수 있었다. 본 연구는 한국어 환경에서의 LLM 기반 가짜뉴스 탐지 연구를 확장하 며, 고도화된 프롬프트 설계와 맥락적 요인을 고려한 접근이 탐지 성능 향상에 기여할 수 있음을 입증하였다. 연구 결과 는 가짜뉴스 탐지뿐 아니라 다양한 언어 및 문화적 맥락에서의 LLM 활용 가능성을 제시하며, 향후 연구 및 실무적 응용에 중요한 시사점을 제공한다.