생성형 딥페이크 탐지를 위한 교차 모델 성능 향상 연구 : 자가 탐지 기반 탐지 프레임워크를 중심으로

The Study of Enhancing Cross-Model Generalization for Deepfake Detection: A Multi-Modal Feature Learning Approach

발행

2025

소속·발행

연세대학교

출처

국내 KCI

원문등록

2025-04-21

원문

원문 보기 ↗

개념

초록

최근 딥러닝 기술의 비약적인 발전으로 인해 극도로 사실적인 합성 미디어인 딥페이크의 제작이 용이해졌다. 특히 GAN(generative adversarial network)과 같은 생성 모델의 발전은 일반인도 쉽게 고품질의 위조 콘텐츠를 생성할 수 있는 환경을 조성하였으며, 이러한 기술의 발전은 개인의 프라이버시 침해, 허위정보 유포, 금융 사기 등 심각한 사회적 문제를 야기하고 있다. 새로운 딥페이크 기술로 생성한 콘텐츠가 확산될 때 가설 기반 콘텐츠의 정보 분포를 활용하여 자가 진화가 가능한 딥페이크 탐지 시스템 기술 개발 높은 정확도를 기반으로 음성과 이미지 그리고 영상 등 다양한 모달리티를 통합하여 탐지할 수 있는 딥페이크 탐지 연구가 필요하며, 본 논문에서는 다중 모달 특성 학습에 기반한 새로운 생성형 딥페이크 탐지 프레임워크를 제안한다. 제안된 방법은 이미지의 공간적 특성, 비디오의 시간적 특성, 그리고 오디오 특성을 통합적으로 활용하는 다중 스트림 신경망 구조를 기반으로 하며, 교차 주의집중 메커니즘을 도입하여 각 모달리티 간의 상호 정보를 효과적으로 활용하여, 생성형 딥페이크 탐지를 개선하였다.

같은 개념의 다른 논문

이 개념이 나오는 강연