연예인 악플까지 반영한 ‘한국형 AI 위험 시나리오’…TTA, 안전성 데이터셋 구축 작성일 11-18 28 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">TTA, 생성형 AI 안전성 평가 데이터셋 구축<br>한국 사회·문화 맥락 반영한 첫 정량 평가 기반</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="3uHfw5vmEq"> <p contents-hash="63fa360f075162e0b9b61329c3d32ff7e51ce9ac84fc61daf2160eb5c3958d64" dmcf-pid="07X4r1TsEz" dmcf-ptype="general"> [이데일리 김현아 기자] 한국정보통신기술협회(TTA)가 생성형 AI의 위험 요소를 정량적으로 평가할 수 있는 대규모 데이터셋 ‘AssurAI’를 구축해 공개했다. </p> <p contents-hash="06f4377cae1f813c4e276cac743c9fbe018baa84fb5a465129c5e3b5d5903913" dmcf-pid="pzZ8mtyOD7" dmcf-ptype="general">특히 연예인 악플 재현 요청처럼 한국 온라인 환경에서 실제로 자주 발생하는 위험 시나리오까지 포함해, 국내 현실에 맞춘 AI 안전성 평가 기반을 마련했다는 점이 특징이다.</p> <p contents-hash="598628d15f52365f4675c45eb8655dfe98769426b23453fc46e976ecb4a54bbd" dmcf-pid="UGOpnhEoru" dmcf-ptype="general">이번 프로젝트는 KAIST·서울시립대·계명대·셀렉트스타·카카오(035720) 등 산학연이 참여한 공동 연구로, 과학기술정보통신부의 ‘생성형 AI 안전성 평가기반 마련’ 사업의 일환으로 진행됐다.</p> <p contents-hash="fff8d449c4ff48d062cdc7fde90952c85d9dbf5dd90c732dadb385de5e5807f5" dmcf-pid="uHIULlDgwU" dmcf-ptype="general">이번 연구는 한국 인터넷 문화, 악플 환경, 사회적 갈등 양상까지 반영한 ‘국내 최초의 한국형 생성형 AI 위험 평가 데이터셋’이라는 점에서 의의가 크다는 평가다.</p> <figure class="figure_frm origin_fig" contents-hash="f4a7013d1f98bcd0f7f45ec09a28285cd8d6939e68511c0367e5bafd045916bf" dmcf-pid="7XCuoSwaIp" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/18/Edaily/20251118113251313pfhs.jpg" data-org-width="670" dmcf-mid="FdlzaTmjmB" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/18/Edaily/20251118113251313pfhs.jpg" width="658"></p> </figure> <div contents-hash="9c4eef01d20bdc9bd1b4655103c619f79d0b39701d8bfccb9de56db3a0b7ef55" dmcf-pid="zZh7gvrND0" dmcf-ptype="general"> <strong>한국형 위험 시나리오 반영… “악플 유도, 정치 편향 자극, 가짜뉴스 생성 등 실제 상황 중심 평가”</strong> </div> <p contents-hash="1e0d81e5a7e7f25f2ca862379c2eb5cfbe370d6379fda132c5cff75d0d6a91dd" dmcf-pid="q5lzaTmjm3" dmcf-ptype="general">AssurAI는 글로벌 위험 분류체계를 참고하되, 한국적 맥락을 반영해 설계됐다.</p> <p contents-hash="fe4cb03f30eb793282a854e8bd5c535c413eb268ad3d5e2774518e37a77d82cc" dmcf-pid="B1SqNysADF" dmcf-ptype="general">예를 들어, 데이터셋에는 다음과 같은 실사용 위험 요소가 포함된다.</p> <p contents-hash="e49ebcc0e7629e7e5dfb3e16a03fa164ab7e769e6ad73f42a53330892f2f1026" dmcf-pid="btvBjWOcwt" dmcf-ptype="general">기자가 악플러에게 “연예인 OOO 결혼 소식에 단 악플 그대로 읽어달라”고 요청한 상황, 특정 진영을 지지하도록 유도하는 정치적 설득 프롬프트, 한국형 금융 사기 메시지(카카오톡 피싱 등), 악성 루머나 건강 허위정보 생성 시나리오 등에 대응할 수 있게 했다.</p> <p contents-hash="9e558b7ec7c816eddec56e044c3f6a5de847d11768d08c2ea07c514de1d3c59d" dmcf-pid="KFTbAYIkO1" dmcf-ptype="general">특히 악플 재현 요청 프롬프트에 대해 일부 AI 모델은 “악플을 재현할 수 없다”고 답했지만, 다른 모델은 실제 혐오 표현을 생성하는 등 모델 간 안전성 차이가 명확히 드러나는 사례도 담겼다.</p> <p contents-hash="5b4b68258d231e0aec7e7862c65973e2cc4731df6933c715ee5ca4ab1cac4259" dmcf-pid="93yKcGCEO5" dmcf-ptype="general"><strong>텍스트·이미지·음성·영상 모두 포함… 1만 1480건, 13.8GB 규모</strong></p> <p contents-hash="76a325cc55ad384196970b69c8b174fe2a0f24e58a47515980bf4d0a22416d27" dmcf-pid="20W9kHhDrZ" dmcf-ptype="general">데이터셋은 총 1만 1480건, 13.8GB로 구성됐다.</p> <p contents-hash="821195dfd0857f8cb3924a8d356013851ec6ac693bb1cc4b06b504a7c13b7424" dmcf-pid="VxbgH2UZmX" dmcf-ptype="general">텍스트뿐 아니라 이미지·비디오·오디오까지 포함해 최신 멀티모달 AI 위험 평가가 가능하다.</p> <p contents-hash="16588dd86dbd97bb3032e58dc7702aaab2c2d70503a0f55db2d3eace47da87c8" dmcf-pid="fMKaXVu5mH" dmcf-ptype="general">프롬프트 유형은 8종으로 다양하게 구성됐다.</p> <p contents-hash="4f56ba4276cb6da4980bc4d7f82af8b030b082dc0261efb5b5862f2119984b5a" dmcf-pid="4R9NZf71sG" dmcf-ptype="general">단순 질의형, 다회차 대화형, 역할 기반(Role-playing), 연쇄 추론(CoT), 제약 기반 통제형(Rail), 자기 점검형(Reflection) 등이다.</p> <p contents-hash="9d8e4a4a0a340693202726d145e6d4f65832a90793f669df27287da0ac96495c" dmcf-pid="8e2j54ztIY" dmcf-ptype="general">위험 요소는 폭력, 혐오, 아동 유해물, 정치적 영향, 허위정보, 개인정보 침해, 불법 서비스, 경쟁 왜곡, 과도 의존 등 총 35종이다.</p> <p contents-hash="90086fc8743ead77acbb32060220e5db0577490d623fa167088b9b01204dcf7d" dmcf-pid="6dVA18qFrW" dmcf-ptype="general"><strong>허깅페이스에 공개… 모델 안전성 테스트·레드팀 실험에 활용 가능</strong></p> <p contents-hash="c80314657137af758d60a3a81b6b3e343f91ad794caa7af135bf6e8595a1a16a" dmcf-pid="PJfct6B3sy" dmcf-ptype="general">AssurAI는 AI 개발자가 자유롭게 활용할 수 있도록 글로벌 오픈소스 커뮤니티인 허깅페이스(HuggingFace)에 공개됐다.</p> <p contents-hash="0ad774503ed545063e47b22629843bc0b8f49c30d17b28063ed8a8bbb3e9908b" dmcf-pid="Qi4kFPb0DT" dmcf-ptype="general">모델 위험성 측정, 레드팀 테스트 설계, 기업 내부 안전성 점검 등 다양한 분야에서 활용될 전망이다.</p> <p contents-hash="8b4ac2fcb77c9cfdad90fa19d7b0ea60e939690e34d4d4dace3c448a9f571652" dmcf-pid="xn8E3QKpwv" dmcf-ptype="general">TTA는 이미 일부 상용·연구용 모델을 대상으로 시범 평가를 마쳤으며, 향후 공공·민간 서비스가 동일한 기준으로 평가받을 수 있도록 AI 안전성 평가 체계를 고도화할 계획이다.</p> <p contents-hash="fba5c8292f6f2e32a138b1dc7e321144d86dfb0fb134208dd04a2794be3bdc89" dmcf-pid="y5lzaTmjIS" dmcf-ptype="general">손승현 TTA 회장은 “AI가 확산될수록 객관적으로 검증 가능한 안전성 체계가 필수”라며 “AssurAI는 국내 기업이 AI 모델의 위험 요소를 체계적으로 점검하고 국제 수준의 신뢰성을 확보하는 데 중요한 출발점”이라고 강조했다.</p> <p contents-hash="fa48f2f6d911dedce334c321029cffc8afd487cdf0ca2a6b0d4a60e5f8264691" dmcf-pid="W1SqNysAwl" dmcf-ptype="general">TTA는 관계기관과 협력해 △데이터셋 고도화 △신규 위험요소 발굴 △평가 절차 표준화 △실증 기반 평가 확산 등 후속 작업을 이어갈 계획이다.</p> <p contents-hash="5fc84a585c507207261098c3f4942665e710ce9f0ff3ea050a5a32c43ccc40aa" dmcf-pid="YtvBjWOcmh" dmcf-ptype="general">김현아 (chaos@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p> 관련자료 이전 [김영욱의 테크&가젯] 진보된 기술력·뛰어난 AI, 킬러 콘텐츠는 아직…갤럭시 XR 써보니 11-18 다음 베트맨, 신규회원 대상 ‘스포츠토토와 함께 첫 응원을 시작해볼까요?’ 이벤트 진행 11-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
