Detect AI Generated Text with Transformer + LoRA
Machine Learning 2 Team Project로 Kaggle에서 주최하는 Detect AI Generated Text 대회 데이터셋을 활용하여 진행하였다.
(https://www.kaggle.com/competitions/llm-detect-ai-generated-text)
팀은 Yerin Nam, Yulim Han으로 구성되어 있다.
Team Project의 목표인 인공지능이 생성한 텍스트와 학생이 쓴 에세이를 구분하는 것을 통해 학문적인 성실함과 정직함을 유지하고, 학생들이 자신의 능력을 적절히 향상시키도록 도울 수 있다.
모델은 Huggling face에 있는 Bert, Distil Bert, Roberta, XLnet, Albert을 활용하였다. 기법은 Ensemble, LoRA, Transformer Interpret을 사용하였다.
팀프로젝트는 6팀 중 1등을 하였다.