사단법인 한국어문회

제목	사람과 AI 모델 간의 화행 주석 개선 방향 연구
저자	송영숙(宋永淑), 조원익(趙元翼)
전공분류	국어학
논문초록	본 연구에서는 사람과 인공지능 모델의 협업 시스템 구축을 통해 자동 화행 주석의 품질을 높이고자 하였다. 이를 위해 국립국어원 메신저 말뭉치(2022)에서 총 33,138 문장을 선별해서 사람과 GPT-4 모델을 통해 주석을 한 후 RoBERTa 모델을 사용해서 분류 정확도를 평가하였다. 사람이 주석한 메신저 말뭉치의 정확도 평가 점수는 85.50인데 비해 사람과 GPT-4 모델이 모두 주석한 경우만으로 정확도를 평가한 경우 GPT-4 모델이 가장 자주 틀리는 주석의 범주는 "냉소/유머"였다. 이렇게 불일치를 보이는 경우를 제외하고 모델과 인간의 주석이 일치하는 문장으로만 분류 모델을 통해 성능 실험을 했을 때 정확도 점수는 95.32로 매우 높은 정확도를 보였다.
핵심어	화행 분류, 화행 주석, 메신저 말뭉치, 주석 일치도, GPT-4, RoBERTa
원문보기	(22 페이지)

어문연구