"LLM, 사이버 범죄에 악용 가능"...빅테크, AI 보안 취약점 해결 집중 작성일 11-03 40 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">명령 신뢰성 구분 못하는 LLM…안정장치 무력화 가능성↑</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="6DNgPQZvjK"> <p contents-hash="15ecbfddddc4e16777cdc48927fb1c434e771a554aa924aa7fb52040ef344a06" dmcf-pid="PwjaQx5Tjb" dmcf-ptype="general">(지디넷코리아=박서린 기자)빅테크 기업들이 사이버 범죄자들에 의해 악용 여지가 있는 초거대 언어모델(LLM)의 핵심 보안 취약점을 해결하기 위한 노력을 강화하고 있다.</p> <p contents-hash="97fa4d22a2c5afa5718eced25ce286bd7103713ccdbd496b5c581ee5732bf700" dmcf-pid="QrANxM1yNB" dmcf-ptype="general">2일(현지시간) 파인내셜타임스 등 외신에 따르면 구글 딥마인드, 앤트로픽, 오픈AI, 마이크로소프트(MS) 등 빅테크들은 웹사이트나 이메일에 숨겨진 명령어를 통해 인공지능(AI) 모델이 기밀 정보 등 비인가 데이터를 노출하도록 속이는 ‘간접 프롬프트 인젝션’ 공격을 막기 위해 대응 중이다.</p> <p contents-hash="4f13375e273e5822c41dbf812c14f96fe14ae93d4d7a2e8110d56d3ac5c80002" dmcf-pid="xmcjMRtWAq" dmcf-ptype="general">앤트로픽의 위협 정보팀을 이끄는 제이콥 클라인은 “현재 공격 체인의 모든 단계에서 AI가 사이버 공격자들에 의해 활용되고 있다”고 말했다.</p> <figure class="figure_frm origin_fig" contents-hash="eee44fe4c8fc47e218b327107b7beac58f74215411461debaec7160a5f657a14" dmcf-pid="yKupWYoMcz" dmcf-ptype="figure"> <p class="link_figure"><img alt="(사진=클립아트코리아)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/03/ZDNetKorea/20251103095515206ocuj.jpg" data-org-width="638" dmcf-mid="865XICMVj9" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/03/ZDNetKorea/20251103095515206ocuj.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> (사진=클립아트코리아) </figcaption> </figure> <p contents-hash="1cc483e4bdff9f4666dbe03afb01404c3c4aea2d0a22e706382758f1d2e4e4fc" dmcf-pid="W97UYGgRc7" dmcf-ptype="general"><span>빅테크들은 외부 테스터를 고용하거나 AI 기반 도구를 활용하는 등 다양한 기술을 사용해 강력한 기술이 악용되는 것을 탐지하고 줄이기 위해 노력하고 있다. 그러나 전문가들은 업계가 아직 간접 프롬프트 인젝션을 완전히 차단하는 방법을 찾지 못했다고 경고한 상황이다.</span></p> <p contents-hash="f55d4119e5afda6bc07b64986233a19f202219fe5e2420a274c9ed7ac36f1cd5" dmcf-pid="Y2zuGHaegu" dmcf-ptype="general">LLM이 본질적으로 명령을 따르도록 설계돼 있어 사용자의 합법적인 명령과 신뢰할 수 없는 입력을 구분하지 못한다는 점이 문제의 핵심이다. 이는 사용자가 모델의 안전장치를 무력화하도록 유도하는 행동이 가능한 이유이기도 하다.</p> <p contents-hash="73accedff65f17ee38192b270cd2fabddfb9979ff5b9ddf9b9cecfca7d1d19e1" dmcf-pid="GVq7HXNdAU" dmcf-ptype="general">클라인은 앤트로픽이 외부 테스터들과 협력해 클로드 모델을 간접 프롬프트 인젝션 공격에 더욱 강하게 만들고 있다고 언급했다. 또 공격 발생 가능성을 탐지하는 AI 도구도 사용하고 있다고 덧붙였다.</p> <p contents-hash="fb8ad2cf5f0c1f8618027501f8bdbfdd9d95905de96e29a6e031177dc64f2ae7" dmcf-pid="HfBzXZjJNp" dmcf-ptype="general">그는 “악성 사용을 발견하면 신뢰 수준에 따라 자동 개입이 이뤄지거나 인적 검토로 넘어간다”고 설명했다.</p> <p contents-hash="93ac82ec7725024187fe22d13b14cfa6fc597b032feda7998088a655a6a944af" dmcf-pid="XjnJVfWIk0" dmcf-ptype="general">구글 딥마인드는 ‘자동화된 레드티밍’ 기법을 활용한다. 자동화된 레드티밍 기법은 회사 내부 연구팀이 실제 공격과 유사한 방식으로 제미나이 모델을 지속적으로 공격해 취약점을 찾는 방식이다.</p> <p contents-hash="dbcee4b203e698a596095f5f56ba1fa30344f63cf6c4911f414a6b54835f5a52" dmcf-pid="ZALif4YCj3" dmcf-ptype="general">외부인이 악성 데이터를 학습 데이터에 삽입해 모델의 행동을 바꾸는 ‘데이터 포이즈닝’도 LLM의 또 다른 취약점이다. 앤 존슨 MS 부사장은 “수년간 공격자는 단 하나의 취약점을 찾으면 됐지만, 방어자는 모든 것을 지켜야 했다”며 “그러나 이제 방어 시스템이 더 빠르게 학습하고 적용하며 반응형에서 선제형으로 전환하고 있다”고 말했다.</p> <p contents-hash="213cac36b2c58dfed200893701942e998e1a2092e87c77c9352659dba7adca8c" dmcf-pid="5con48GhkF" dmcf-ptype="general">기업들이 AI 도입을 확대함에 따라 AI 모델의 결함을 해결하려는 경쟁이 치열해지면서 사이버 보안은 기업의 최우선 우려 사항 중 하나로 부상하고 있다. 제이크 무어 ESET 글로벌 사이버 보안 고문은 “LLM 덕분에 해커들이 아직 탐지되지 않은 새로운 악성 코드를 빠르게 생성할 수 있어 방어가 더욱 어렵다”고 말했다.</p> <p contents-hash="299d233630380bccc79e569c54b8991c9cb452a4fd1b249a39baa0b08788d560" dmcf-pid="1kgL86HlAt" dmcf-ptype="general">매사추세츠공대(MIT) 연구에 따르면 조사된 랜섬웨어 공격의 80%가 AI를 활용했고, 지난해 피싱 및 딥페이크 관련 사기는 60% 증가했다 AI는 피해자의 온라인 정보를 수집하는 용도로도 사용된다. LLM은 SNS, 이미지, 음성 파일 등을 효율적으로 수집해 타깃을 분석할 수 있다.</p> <p contents-hash="6fbf225cb236d7a519b16cebe63ee24c6ca82a56fee0d385062b4bf36a274e3a" dmcf-pid="tEao6PXSo1" dmcf-ptype="general">무어 고문은 기업이 특히 이같은 공격에 취약하다고 지적했다. AI가 인터넷에서 임직원 공개 정보를 수집해 회사가 사용하는 소프트웨어를 파악하고 이를 기반으로 취약점을 찾기 때문이다.</p> <p contents-hash="9241288aaf4ec256029ed8f8c1711f2ce0abaa65684181a702f9b76d0eaee677" dmcf-pid="FDNgPQZvc5" dmcf-ptype="general">전문가들은 기업들이 새로운 위협을 모니터링하고 민감한 데이터셋과 AI 도구 접근 권한을 제한해야 한다고 강조하기도 했다.</p> <p contents-hash="d4c84f536538ebb043bec8fb8f311cb1a986914534b4e97718c592a5265a21f3" dmcf-pid="3wjaQx5TgZ" dmcf-ptype="general">박서린 기자(psr1229@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 ‘그날만 사는 세상’ 김민수·권또또, 현실감 넘치는 '첫사랑 서사'에 웃음 11-03 다음 전세계 기업 86%, 지난해 사이버 침해 경험…포티넷 “전문인력 부족이 원인” 11-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
