"AI 조교? 아직 멀었다"…대학 에세이 채점 정확도 '절반' 수준 작성일 05-26 44 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">케임브리지대 연구팀 연구 결과…내용보다 문체에 더 민감<br>연구진 "최종 평가 인간이 해야"</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="qoH3adV7Yh"> <figure class="figure_frm origin_fig" contents-hash="34934272ea33a6a814906631431da95c262e1c7f574228aad5f24ec6fd69bfd7" dmcf-pid="BgX0NJfztC" dmcf-ptype="figure"> <p class="link_figure"><img alt="(챗GPT 생성 이미지)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202605/26/NEWS1/20260526061139525pcyn.jpg" data-org-width="1400" dmcf-mid="zDYtoR9UGl" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202605/26/NEWS1/20260526061139525pcyn.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> (챗GPT 생성 이미지) </figcaption> </figure> <p contents-hash="a704a427554ee0a6ef61832ac0a70938bc8fdfb7e5b92c3fbebfcf8db94e6098" dmcf-pid="baZpji4qZI" dmcf-ptype="general">(서울=뉴스1) 나연준 기자 = 생성형 인공지능(AI)이 대학생 에세이 채점에서 인간 평가와 절반 수준만 일치하는 것으로 나타났다. 특히 AI는 학문적 깊이보다는 문장 구조나 어휘 수준에 더 민감하게 반응하는 것으로 분석됐다.</p> <p contents-hash="7c88388c3e5cd7afaaa9240f95fa2e5d43c1a228a525556dd3cbe805ce9f6d19" dmcf-pid="KN5UAn8BtO" dmcf-ptype="general">26일 업계에 따르면 케임브리지대학교가 주도한 연구팀은 영국 3개 대학의 심리학 학부생들이 제출한 761편의 에세이를 대상으로 챗GPT-5.4, 클로드 오퍼스 4.6 , 제미나이 3 플래시 등 3종의 AI를 활용해 채점을 진행한 결과를 분석했다.</p> <p contents-hash="b33088377692feac9c804063cd8ac8a648ca5527c1cb08ee695aacaa54f518c5" dmcf-pid="9j1ucL6b5s" dmcf-ptype="general">연구 결과 AI가 인간 평가자가 부여한 학위 등급과 일치한 비율은 케임브리지대 63%, 노팅엄대 53%, 맨체스터 메트로폴리탄대 35% 수준으로 나타났다.</p> <p contents-hash="76f2a658df52340b6f98aa35181a02985a6040243b2130c61e212073748d030d" dmcf-pid="2At7koPKtm" dmcf-ptype="general">연구진은 AI 채점 결과가 인간 채점 결과와 차이를 보이는 이유 중 하나로 AI가 통계적 예측에 기반하기 때문이라고 지적했다.</p> <p contents-hash="fc85672350739be8cfc286f74080fb4f2d18ca565f46c3d0f9f13f96f94d73ce" dmcf-pid="VcFzEgQ9Xr" dmcf-ptype="general">연구진은 인간이 채점한 75점짜리 에세이는 모든 AI 시스템에서 평균적으로 몇 점 더 낮게 평가되고, 50점짜리 에세이는 몇 점 더 높게 평가됐다고 설명했다. AI가 우수한 에세이는 상대적으로 낮게, 낮은 점수를 받은 에세이는 실제보다 높게 평가해 '중간 점수'를 맞추려는 경향을 보인다는 것이다.</p> <p contents-hash="9d07bfc5e04ad1249529710b122dcfee83f93a0a4a1f626dfaca76a69f7f6a19" dmcf-pid="f9EIVzZvYw" dmcf-ptype="general">연구에 참여한 케임브리지 기술인문연구소의 알렉산드루 마르코치 박사는 "AI는 모든 제출물에 중간 점수를 부여해 가장 우수한 에세이와 가장 형편없는 에세이를 특히 부정확하게 채점하는 결과를 낳는다"고 말했다.</p> <p contents-hash="44c862387f4861a7a4794498903b0f913c9bc84f7dfe2f293dc670a0e942c21b" dmcf-pid="42DCfq5TYD" dmcf-ptype="general">마르코치 박사는 "이러한 편향의 결과는 최우수와 상위 등급을 구분하거나 합격과 불합격을 가르는 경계선에서 정확도가 떨어진다는 것"이라고 덧붙였다.</p> <p contents-hash="7f0f7f4609beaa588982f1081e678deadd5d371d8c325a9c3db23294da0c80e0" dmcf-pid="8Vwh4B1ytE" dmcf-ptype="general">또한 연구진은 AI가 에세이의 학문적 완성도보다 언어적 특징에 더 집중하는 모습을 보였다고 분석했다. AI가 논리성, 비판적 사고, 학문적 깊이 등 인간 평가자가 중요하게 여기는 요소를 판단하는 데 한계를 보였고 복잡한 문장 구조, 어려운 어휘 등에 따라 더 높은 점수를 부여했다는 것이다.</p> <p contents-hash="cff952fe7752df3dd503a9a0d64dba4f9b81ad9069a728c6f53a4c0a99187a0e" dmcf-pid="6frl8btWtk" dmcf-ptype="general">연구진은 현재 단계에서 AI가 학부생의 에세이 과제를 채점하기에는 역량이 부족하고 일관성이 떨어진다며 인간이 반드시 최종적으로 채점해야 한다고 조언했다.</p> <p contents-hash="1f956ab46035b5dd65199b32e5280bac76dae3a0a3ed4ef7fcaab59f9b798d15" dmcf-pid="P4mS6KFYtc" dmcf-ptype="general">케임브리지대의 심리학자 데보라 탈미 박사는 "AI 모델에 지나치게 의존하면 학생들의 성적이 획일화되고 재능을 과소평가하게 될 것이다. 또한 건전한 학문적 판단보다 언어적 스타일을 우선시하게 될 것"이라고 경고했다.</p> <p contents-hash="2e5fd62357fdd480016ce17741b8848828f4bb1f168bec7406881f679bfd336a" dmcf-pid="Q8svP93GHA" dmcf-ptype="general">이어 탈미 박사는 "평가는 단순히 점수를 매기는 시스템이 아니다. 이를 통해 학생들은 인정받고 교육 기준이 유지된다"며 "인공지능을 평가에 활용하는 것은 이러한 가치들을 위협한다"고 말했다.</p> <p contents-hash="fe9e789cb875784293a79aca8f7654785ee434362339511b3c8cd7b779669f82" dmcf-pid="x6OTQ20H1j" dmcf-ptype="general">yjra@news1.kr </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 AI가 검색 대체한다고?…구글-네이버의 반격 05-26 다음 "대통령부터 국민까지 사이버공간 보는 시각 바뀌어야" 05-26 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
