대규모 멀티모달 언어 모델을 활용한 딥페이크 이미지 탐지 연구
Deepfake Image Detection via Multimodal Large Language Models
- 발행
- 2025 등록KCI API에는 발행일 항목이 없어 원문 등록일을 쓰고 있습니다. 실측으로 발행보다 최대 6년 늦습니다 — 재수집하면 발행연월로 바뀝니다.
- 소속·발행
- 숭실대학교
- 출처
- 국내 KCI
- DOI
- 10.13089/JKIISC.2025.35.2.299
- 원문
- 원문 보기 ↗
개념
키워드
Deepfake Detection, Multimodal Large Language Model, Prompt Engineering, Deepfake Detection, Multimodal Large Language Model, Prompt Engineering
초록
최근 딥페이크 이미지 생성 기술의 발달로 이를 악용하는 사례가 증가하고 있다. 그러나 기존의 딥페이크 탐지 기술은 대량의 학습 데이터와 장기간의 훈련이 필요하며, 새로운 딥페이크 생성 기술 유형에 대응하기 어렵고 설명 가능성이 부족하다는 한계를 지닌다. 본 연구에서는 대규모 멀티모달 언어 모델인 GPT-4o와 GPT-4o-mini를 활용하여 텍스트와 시각적 단서를 결합한 딥페이크 이미지 탐지 방식을 제안한다. 또한 제로샷, 퓨샷, 멀티턴 제로샷, 연쇄 추론, 자기 일관성 등의 프롬프트 엔지니어링 기법을 도입하여 모델의 탐지 성능을 평가하고 비교하였다. 실험 결과, GPT-4o-mini는 딥페이크 이미지 정확도가 최대 55.4%에 그쳐 초기 제로샷 성능이 낮게 도출되었으나, 멀티턴 제로샷 및 자기 일관성 등의 프롬프트 엔지니어링을 통해 딥페이크 탐지 정확도 90% 이상으로 크게 개선할 수 있음을 확인하였다. GPT-4o는 제로샷 기법만으로 AUC score 93.06%이상의 높은 탐지율을 보였고, 후처리된 이미지에서도 90% 이상의 탐지 성능을 나타내 강건성을 보였다. 아울러, 모델의 추론 과정을 투명하게 제시함으로써 탐지 결과에 대한 신뢰성을 높이고, 법적·윤리적 문제 해결에 기여할 수 있음을 확인하였다.