다국어 혐오표현 탐지를 위한 클래스 불균형 개선 및 멀티태스크 학습

Class imbalance mitigation and multi-task learning for multilingual hate speech detection

발행

2025

소속·발행

부산외국어대학교

출처

국내 KCI

DOI

10.23089/jdca.2025.8.2.010

원문등록

2025-10-30

원문

원문 보기 ↗

개념

키워드

혐오표현 탐지, 다중레이블 분류, 클래스 불균형, 다국어 학습, 멀티태스크 학습, Hate speech detection, Multi-label classification, Class imbalance, Multi-task learning, Multilingual

초록

온라인 커뮤니티에서는 익명성을 기반으로 한 혐오표현이 지속적으로 발생하며, 심각한 사회문제로 이어지고 있다. 안전한 플랫폼 환경을 유지하기 위해서는 혐오표현을 탐지하는 기술이 필요하다. 그러나 언어마다 표현 방식이 달라, 다국어 데이터에서는 심각한 클래스 불균형이 발생한다. 본 연구에서는 한국어와 영어 기반의 6개 공개 데이터셋을 통합하여 9개의 레이블로 구성하였으며, 이 과정에서 극히 희소한 언어-레이블 조합이 나타났다. 이를 해결하기 위해 희소한 조합에 한정하여 로짓 조정, 소프트 타깃 학습, Group-DRO를 적용하고, 다중레이블 분류와 이진 분류를 결합한 멀티태스크 학습 구조를 도입하였다. 실험 결과, 제안 모델은 micro/macro F1에서 각각 0.79를 기록하였으며, 특히 희소 조합에서 단일 태스크 기준 대비 +0.22p와 +0.38p의 효과를 보였다. 이러한 결과는 희소 조합의 재현율 저하와 언어 간 성능 격차를 동시에 완화할 수 있음을 보여준다.

같은 개념의 다른 논문

이 개념이 나오는 강연