효율적인 딥페이크 이미지 탐지를 위한 CNN 및 ViT 통합 모델 개발
A Combined Model of CNN and ViT for Deepfake Image Detection
- 발행
- 2025 등록KCI API에는 발행일 항목이 없어 원문 등록일을 쓰고 있습니다. 실측으로 발행보다 최대 6년 늦습니다 — 재수집하면 발행연월로 바뀝니다.
- 소속·발행
- 호서대학교
- 출처
- 국내 KCI
- DOI
- 10.13089/JKIISC.2025.35.3.513
- 원문
- 원문 보기 ↗
개념
키워드
Deepfake Detection, Generative Adversarial Network, Convolutional Neural Network, Vision Transformer, Deepfake Detection, Generative Adversarial Network, Convolutional Neural Network, Vision Transformer
초록
최근 딥페이크 기술이 고도화됨에 따라 이를 악용한 범죄 사례가 증가하고 있으며, 딥페이크 탐지 기술에 대한 연구의 중요성이 커지고 있다. 본 논문에서는 딥페이크 이미지를 생성하는 기술로는 GAN(Generative Adversarial Network), Autoencoder 등을 활용하였으며, 특히 딥페이크 탐지 성능을 개선하기 위해 CNN(Convolutional Neural Networks)과 ViT(Vision Transformer)를 결합한 CNN-ViT 기반 통합 모델을 제안하였다. CNN을 이용한 탐지 방식은 이미지의 지역적 특징을 학습하며, 딥페이크 이미지에서 나타나는 미세한 왜곡을 효과적으로 탐지할 수 있는 반면, ViT는 이미지를 패치 단위로 분할하여 전체적인 구조를 학습함으로써 전역적 패턴 간의 관계를 파악할 수 있다. CNN-ViT 모델의 성능 평가를 위해 EfficientNet-B0부터 B4까지의 CNN 아키텍처를 ViT와 결합하여 비교 실험을 수행하였다. 또한, 모델의 깊이에 따른 성능을 Precision, Recall, F1-score으로 비교하였고, weight decay, batch size, learning rate의 변화에 따라 탐지 성능에 미치는 영향을 분석하였다. 제안한 CNN-ViT 모델은 WildDeepfake와 FaceForensics++ 데이터셋에서 각각 82.75%, 60.84%의 탐지율을 기록하며 기존 모델 대비 우수한 성능을 보였다.