“똘똘한데 해킹에는 약하네”... 생각하는 AI, 더 쉽게 뚫린 작성일 11-09 57 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">고도 추론형 모델일수록 ‘연쇄 사고 탈취’ 공격 취약<br>‘GPT·클로드·제미니·그록’ 등 대부분 AI 노</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QV4ulnPKS7"> <figure class="figure_frm origin_fig" contents-hash="06f0ab14b4239242fed36f5d9dc1d37bce344a0785fd0dc843f11578043bf7a3" dmcf-pid="xf87SLQ9lu" dmcf-ptype="figure"> <p class="link_figure"><img alt="“똘똘한데 해킹에는 약하네”... 생각하는 AI, 더 쉽게 뚫린 [그림=제미나이]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/09/mk/20251109103002614wfps.png" data-org-width="700" dmcf-mid="P4oPFmNdTz" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/09/mk/20251109103002614wfps.png" width="658"></p> <figcaption class="txt_caption default_figure"> “똘똘한데 해킹에는 약하네”... 생각하는 AI, 더 쉽게 뚫린 [그림=제미나이] </figcaption> </figure> <div contents-hash="5677c3063c1595a9fca55512b63a1b04d2db71483b06081f57a50e1c6902d36e" dmcf-pid="yClk61TsyU" dmcf-ptype="general"> 추론 능력을 갖춘 최신 인공지능(AI) 모델일수록 오히려 해킹 공격에 더 취약하다는 연구 결과가 나왔다. ‘더 똑똑한 AI가 더 안전하다’라는 기존 가정이 뒤집힌 셈이다. </div> <p contents-hash="b37c758a834154e78dc6be18f418c5a5503ae7e14fbf6f3ce1f63885159c83eb" dmcf-pid="WhSEPtyOTp" dmcf-ptype="general">앤스로픽과 옥스퍼드대, 스탠퍼드대 공동연구진은 최근 아카이브에 발표한 논문에서 AI의 사고 과정을 역이용하는 ‘연쇄 사고 탈취’ 기법을 통해 주요 상용 모델의 안전장치를 무력화할 수 있다고 밝혔다. 포천에 따르면 실험 결과 일부 모델의 공격 성공률은 80%를 넘었다.</p> <p contents-hash="416db20285cfe91afca631aacb16179739abf0793cb46bb202e48bbd52b9ff27" dmcf-pid="YlvDQFWIy0" dmcf-ptype="general">이 공격 방식은 AI가 질문을 단계별로 ‘생각’하며 답변을 도출하는 추론 과정을 노린다. 공격자는 해가 없어 보이는 사고 단계 수십 개 사이에 해로운 명령을 숨겨 넣는다. AI는 긴 사고 사슬 초반에만 집중하고 마지막에 삽입된 위험 지시를 인식하지 못해 결과적으로 자체 안전장치를 건너뛰는 일이 나타나게 된다.</p> <p contents-hash="3b5d99dc952a9d7d53b1b42a837a3efb6468778af9e4223b0f293bfb7d3f2c1f" dmcf-pid="GSTwx3YCC3" dmcf-ptype="general">연구진은 “추론 단계가 길어질수록 공격 성공률이 급격히 높아졌다”라고 밝혔다. 간단한 사고 과정에서는 27%였던 성공률이 일반적인 추론 길이에서는 51%로, 사고 단계를 길게 늘이면 80% 이상까지 치솟았다.</p> <p contents-hash="830f3082993b5d12c85dfcd33e58c2b73b83e9a1c9ed01b160fc74ae19ee2445" dmcf-pid="HvyrM0GhyF" dmcf-ptype="general">이 같은 취약성은 오픈AI의 GPT, 앤스로픽의 클로드, 구글 제미나이, 그록 등 주요 모델 전반에서 확인됐다. 특히 안전성을 높인 ‘정렬 튜닝’ 모델도 내부 추론 단계가 조작될 경우 방어에 실패했다.</p> <p contents-hash="1722ef996c4a295ee1b6e4d389fbb60e7995bc6b11b9ccf8f609ff64b93a6308" dmcf-pid="XajRUCkLvt" dmcf-ptype="general">최근 AI 업계는 모델 성능 한계를 극복하기 위해 단순 데이터 학습 대신 ‘추론 능력 확장’에 주력해왔다. 대규모 연산 시간을 투입해 질문을 더 깊이 분석하도록 설계된 이른바 ‘고도 추론형 모델’이 대표적이다. 그러나 이번 연구는 이런 고도화가 오히려 보안 취약점을 키울 수 있음을 보여준다.</p> <p contents-hash="2a96351892ec009533bb7530e27f9c8dde13c757ede0deacfe89a952f10edf78" dmcf-pid="ZNAeuhEov1" dmcf-ptype="general">연구를 이끈 옥스퍼드대 AI안전센터는 “추론 과정이 길어질수록 모델의 안전 신호가 희미해진다”라며 “AI가 스스로 위험을 인식하고 차단하는 메커니즘이 여전히 불안정함을 드러낸다”라고 설명했다.</p> <p contents-hash="1ccc679a9c4a24eb56369dcf5caf62b6f6aa69b4fd7a8091643ee990be7acdcc" dmcf-pid="5jcd7lDgl5" dmcf-ptype="general">연구진은 대응 방안으로 ‘추론 인식형 방어’ 체계를 제안했다. 이는 AI가 문제를 단계별로 사고하는 동안 각 단계의 안전 신호를 실시간으로 추적해 위험 지시가 포함된 단계에서는 자동으로 경고 또는 중단하도록 하는 방식이다. 이 시스템을 적용하면 기존 성능을 유지하면서도 안전성을 회복할 수 있다는 초기 실험 결과도 제시됐다.</p> <p contents-hash="87c70514a191cb9ef54fc444bfc222ca24c381f84a6db8bf8d1c23b64908dbca" dmcf-pid="1AkJzSwaWZ" dmcf-ptype="general">AI의 연쇄 사고 탈취 공격은 단순한 콘텐츠 생성 위험을 넘어 무기 제조 지침이나 민감 정보 노출 같은 실제 피해로 이어질 가능성이 있다. 연구진은 “AI의 추론 능력이 인간처럼 복잡해질수록, 그 내부 사고 흐름을 악용하려는 시도도 정교해지고 있다”라며 “AI의 사고 자체를 이해하고 통제하는 새로운 보안 패러다임이 필요하다”라고 강조했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 [SC이슈] "3년간 고생했는데.."…유재석의 마지막 배려, 이이경 하차 '사생활' 대신 '스케줄' 강조 11-09 다음 탁구 신유빈·이상수, WTT 챔피언스 프랑크푸르트 동반 4강행 11-09 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
