postech-School of EECS Convergence

[연구의 필요성]
자동 에세이 채점 (Automated Essay Scoring, AES)은 주어진 문항 (prompt)에 대해 작성된 에세이를 평가하는 기술이다. 대부분의 기존 AES 시스템은 훈련에 사용된 동일한 문항의 에세이만을 평가하고 종합적인 단일 점수만 채점하는 것을 목표로 한다. 하지만 이러한 설정은 특정 문항에 대해 미리 평가된 에세이 데이터가 부족하며, 하위 채점 기준들에 대한 자세한 특성 (trait) 점수가 요구되는 실제 채점 환경과 거리가 있다. 따라서, 훈련에 사용되지 않은 문항의 에세이에 대해 다양한 특성 점수를 예측하는 Cross-prompt Essay Trait Scoring 연구는 AES의 중요한 향후 과제이다.

[포스텍이 가진 고유의 기술]
본 연구에서는 문항 및 특성 관계를 고려하여 훈련에 사용되지 않은 문항의 에세이에 대해 다중 특성 점수를 보다 정확하게 예측할 수 있는 기법 (ProTACT)을 제안한다. 구체적으로, 에세이-문항 어텐션 (Essay-Prompt Attention)기법을 도입하여 에세이 벡터 인코딩 과정에서 문항 정보를 고려할 수 있도록 하고, 라벨링된 데이터에 액세스하지 않고 주제 일관성 특성 벡터 (Topic-Coherence Feature)를 추출하여 모델이 에세이의 문항 준수도를 반영할 수 있도록 하였다. 또한 다중 특성 점수 예측 정확도 향상을 위해 특성 유사성 손실 함수 (Trait-Similarity Loss)를 설계하여 학습 과정에서 서로 다른 특성 간의 상관 관계를 고려한다. 이러한 접근 방식은 문항 관련 측면과 특성의 유사성에 주목함으로써 훈련에 사용되지 않은 문항을 채점하고, 여러 특성 점수를 채점해야 하는 어려운 환경을 극복하는 데 도움을 준다.

[연구의 의미]
문항과 특성간 관계를 직접적으로 반영함으로써 AES분야에서 어려운 과제인, Cross-prompt Essay Trait Scoring 환경에서의 경쟁력 있는 성능 확보에 크게 기여하였다. 이로써, 궁극적으로 실제 교육적 상황에서의 채점에 보다 적합한 AES 시스템 개발에 도움을 줄 수 있다.

[연구결과의 진행 상태 및 향후 계획]
본 연구는 자연어 처리 분야의 우수 학회인 Findings of ACL 2023에 발표될 예정이다. 향후 본 연구에서 제안하는 기술을 학습자 지원을 위한 쓰기 자동 채점에 활용할 계획이다.

[성과와 관련된 실적]
Heejin Do, Yunsu Kim, Gary Geunbae Lee. 2023. Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring. Findings of the Association for Computational Linguistics (Findings of ACL 2023)

[성과와 관련된 이미지]