생성형 인공지능 ChatGPT의 국어능력은 어떠한가?- 2024학년도 대학수학능력시험 국어영역 문항 풀이 결과의 오류 유형 분석을 중심으로
How is the Korean language ability of generative artificial intelligence ChatGPT?－ Analysis of error types in the results of solving items in the Korean language section of the 2024 CSAT
- 발행
- 2024
- 소속·발행
- 한양대학교
- 출처
- 국내 KCI
- DOI
- 10.37736/KJLR.2024.04.15.2.10
- 원문등록
- 2024-05-09
- 원문
- 원문 보기 ↗
개념
키워드
생성형 인공지능, 인공지능, 대규모 언어 모델, 대학수학능력시험, 국어능력, 국어교육, 문식 환경, 의미 구성, generative AI, AI, large language model, CSAT, Korean language ability, Korean language education, literacy environment, constructing meaning
초록
이 연구는 생성형 인공지능의 국어능력을 알아보기 위한 목적으로 OpenAI사에서개발한 ChatGPT를 활용하여, 2024학년도 대학수학능력시험 국어영역 문항의 풀이결과와 그 과정에서의 오류 유형을 분석한 연구이다. 이를 위해 연구자들은 문항 풀이에 적합한 프롬프트를 설계하고, ChatGPT로부터 문항의 정답과 지문의 내용에 입각한 각 선택지의 정오 판단 근거를 수집하였다.
 본격적인 분석에 앞서 ChatGPT의 문항별 정답에 대한 경향성을 살펴본 결과, 문학보다 독서 영역에서 그리고 추론적 이해와 비판적 이해보다는 어휘·개념과 사실적이해를 묻는 문항에서 더 높은 정답률을 보임을 확인하였다. 아울러 문항 풀이에 대한 ChatGPT의 오류 유형은 크게 두 가지 양상으로 유형화되었는데, 문항에 대한 정오 판단의 근거를 지문 내에서 찾아내지 못하는 양상과 판단의 근거를 지문 내에서 발견했으나 지문의 의미를 잘못 구성하는 양상이 있었다. 또한, 후자의 경우에는 또다시ChatGPT가 지문의 의미를 구성하는 과정에서 축자적 의미만이 개입하여 잘못된 의미를 구성하거나, 지문 내의 정보를 결합하지 않거나 잘못 결합함으로써 의미를 올바르지 않게 구성하는 경우로 나뉘었다.
 이러한 연구의 결과는 생성형 인공지능의 국어능력을 실증적으로 분석 및 고찰하고, 생성형 인공지능 시대의 문식 주체가 갖춰야 할 역할을 제안할 수 있다는 점에서의의가 있다. 이 연구를 토대로 향후에는 생성형 인공지능의 국어능력에 관한 종합적인 비교 검토가 수행될 필요가 있다. 더욱이 최근 기술의 발달로 국어 현상과 국어교육의 시차가 심화되는 바, 끊임없이 변화하는 문식 환경에서 문식 주체를 지원하기 위해 향후에도 생성형 인공지능과 관련된 담론이 촉발되고 논의될 필요가 있을 것이다.