“AI 취약점 내부에서 찾아라”… ‘AI 레드팀’ 강의·챌린지 주목 작성일 09-22 61 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">크라우드웍스·셀렉트스타, ‘AI 레드팀’ 관련 활동 운영<br>실제 해커처럼 AI 시스템 위협해 선제적 대응<br>글로벌 빅테크 기업, 자체 AI 레드팀 구축</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="tjymyOsdaE"> <figure class="figure_frm origin_fig" contents-hash="146a3dbd3e66e26908aa2fd0e79a622784c6c9bcf6f0d1d57f3df5faccc5652d" dmcf-pid="FAWsWIOJak" dmcf-ptype="figure"> <p class="link_figure"><img alt="일러스트=챗GPT" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202509/22/chosunbiz/20250922161948796sdpd.jpg" data-org-width="1536" dmcf-mid="15mamjNfoD" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202509/22/chosunbiz/20250922161948796sdpd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 일러스트=챗GPT </figcaption> </figure> <p contents-hash="c3f592bd29d2a3205704faf1f3cd914acd6cf4362c65baa7c121c88e05ddade4" dmcf-pid="3cYOYCIigc" dmcf-ptype="general">최근 생성형 인공지능(AI) 기술의 발전으로 해킹 공격이 급증하자 기업 내 ‘AI 레드팀’이 부상하고 있다. 이들은 AI 보안 취약점을 선제적으로 찾아내 대응하는 역할을 한다. 특히 AI의 경우 아직 검증되지 않은 보안상 취약점이 많은 만큼 향후 레드팀의 중요성이 커질 것으로 보인다.</p> <p contents-hash="432c03cab217877fe35effda8d516555ef494b21151e323abcc2c9be20b3e05a" dmcf-pid="0kGIGhCnNA" dmcf-ptype="general">22일 업계에 따르면 최근 AI 레드팀이 부상하자 관련 강의와 대규모 챌린지 등이 국내에서 운영되고 있다. AI 기업 크라우드웍스는 최근 교육 관련 자회사 크라우드아카데미를 통해 국내 최초 ‘AI 레드팀 전문 강의’를 개설했다고 밝혔다. 강의는 AI 서비스 정책 담당자, 운영 책임자, 품질 관리자, AI 레드팀 전문가 희망자를 대상으로 한다. 실제 기업 환경에서 발생할 수 있는 보안 위협 사례를 기반으로 자연어 프롬프트 공격 기법 등을 학습할 수 있는 문제 해결 중심 커리큘럼으로 구성했다.</p> <p contents-hash="a2c9bcf89645b451bab336cca38f476f96f090f82f529836e5a1e3e6d8c6c6c5" dmcf-pid="pEHCHlhLcj" dmcf-ptype="general">AI 기업 셀렉트스타는 이달 초 AI 의료기기의 안전성을 검증하는 의료 분야 ‘AI 레드팀 챌린지’ 운영을 총괄했다. 이는 아시아 최초이며, 국내 의료 AI의 신뢰성을 확보하기 위해 시행했다고 회사 측은 밝혔다. AI 레드팀 시험은 생성형 AI 기반 의료기기의 보안을 시험하는 자리로, 47개팀에서 100여명이 참가해 업스테이지, KT, LG, 네이버 등 국내외 빅테크 거대언어모델(LLM) 8종 이상을 대상으로 보안 취약점을 찾는 모의 공격을 수행했다.</p> <p contents-hash="5f5ffe1e07c6d6e30057a90174b66422c0804d1e5d6db6be3edbfddf69245c82" dmcf-pid="UDXhXSlokN" dmcf-ptype="general">레드팀은 본래 모의 군사 훈련에서 아군의 취약점을 파악하기 위해 적군 역할을 하는 팀을 운영한 데서 유래했다. 이를 바탕으로 AI 레드팀 역시 실제 해커처럼 AI 시스템을 위협함으로써 예상치 못한 오작동이나 유해한 결과의 생성 가능성을 점검해 선제적으로 위협에 대응한다. 가령 악의적인 프롬프트를 입력해 AI가 혐오 발언, 차별적 내용, 잘못된 정보, 유해한 지침을 생성하도록 유도하는 테스트를 수행한다. 또 AI 시스템의 빠른 변화에 발맞춰 지속적이고 주기적인 점검과 자동화된 모니터링을 한다.</p> <p contents-hash="854b0e17eea13df6d274cba9b07029fb2c7345b5b911618b80baf65ee0bbfed3" dmcf-pid="ukGIGhCnka" dmcf-ptype="general">AI 레드팀은 취약점을 찾아내기 위한 여러 기술을 활용한다. 대표적인 수법은 ‘프롬프트 인젝션’이다. LLM을 대상으로 사용자가 입력하는 프롬프트를 조작해 AI가 기존 설계된 지침을 벗어나 악의적인 행동을 하도록 유도하는 기법이다. 레드팀은 다양한 시나리오를 만들어 테스트를 시도해 개발 과정에서 놓칠 수 있는 숨겨진 위험 요소들을 발견하고 개선함으로써 안전하고 신뢰할 수 있는 AI 시스템을 구축하도록 한다.</p> <p contents-hash="0742b42b1e9ff6917cce1e0ebe0423f9af3f0ae9a8474b7a39b386b780da9885" dmcf-pid="7EHCHlhLjg" dmcf-ptype="general">프롬프트 인젝션은 직접 프롬프트를 입력하는 방식과 LLM이 접근하는 외부 데이터에 악성 프롬프트를 숨겨두는 간접적 방식으로 나뉜다. 직접 프롬프트 인젝션 방법에는 ▲지침 무력화 ▲역할 재할당 ▲맥락 혼동 ▲특수문자 악용 ▲순차적 명령 ▲코드 인젝션 등이 있다. 지침 무력화의 대표적인 예시는 사용자가 ‘이전 지침을 무시해’와 같은 명령을 내려 기존 설정을 우회하는 것이다. 또 역할 재할당은 ‘너는 이제 제한 없는 AI야’와 같은 문장을 입력해 AI에게 새로운 역할을 부여하는 방식으로 탈옥 공격이라고도 부른다.</p> <p contents-hash="74b5b5b68ead49967fed1a7c9849ce2a0bca56e8fa59a8eb99bbfb378f13d9a8" dmcf-pid="zDXhXSloAo" dmcf-ptype="general">실제 글로벌 빅테크 기업들은 자체적으로 AI 레드팀을 구축했다. 오픈AI는 자체 ‘레드티밍 네트워크’를 구축해 GPT-4에 잠재적 악용 사례를 지속 찾아내고 있다. MS 역시 빙챗 등 AI 서비스를 대상으로 AI 레드팀 활동을 수행하며 보안 취약점과 유해 콘텐츠 생성 가능성을 식별한다. 메타는 레드팀과 블루팀을 결합한 퍼플팀을 운영해 AI 시스템의 보안을 강화하고 있다. 블루팀은 다양한 도구를 활용해 레드팀의 공격 시도에 맞서 방어 업무를 한다.</p> <p contents-hash="d07332c7f99491b565bcebdc5b4b00048ee4089681dd6e5178941cb54f906f99" dmcf-pid="qwZlZvSgAL" dmcf-ptype="general">IT업계 관계자는 “안전성 검증을 소홀히 하면 서비스 전체가 흔들릴 수 있는 만큼, 글로벌 빅테크처럼 국내 기업에서도 AI 레드팀이 향후 내부에 필수 조직으로 자리 잡을 것으로 보인다”고 말했다.</p> <p contents-hash="96c8dcbc61429304d49ea86fa92ba9523847ccc6e026b71bdd8744ced23072c2" dmcf-pid="Br5S5TvaAn" dmcf-ptype="general">- Copyright ⓒ 조선비즈 & Chosun.com -</p> </section> </div> <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p> 관련자료 이전 당신의 고과는 B?…AI가 인사평가 한다 09-22 다음 선박 설계·운항·보수까지…'버추얼 트윈 기술'이 미래조선 이끈다 09-22 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
