[팩플] ‘챗GPT가 20초 만에 개인정보 찾아 피싱’...KAIST, AI 악용 가능성 규명 작성일 02-24 144 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="q8nnZuqyhp"> <p contents-hash="256f008ab80aa4ecce2e535cce31f2016207a00f35033e91bfa72a1a8e047921" dmcf-pid="B6LL57BWl0" dmcf-ptype="general">오픈AI의 챗GPT, 앤스로픽의 클로드, 구글의 제미나이 등 이미 상용화 된 인공지능(AI) 서비스가 사이버 공격에 악용될 수 있다는 연구 결과가 나왔다. AI 기술이 발달하는 만큼 개인정보 수집·유출 등 보안에 대한 우려 또한 커지고 있어, 정부와 업계의 대책 마련이 시급하다는 지적이다. </p> <div contents-hash="ef42c4b0a4f917de5d691fe90d1e18e004634a9229d5778ae12db713af4f5b06" dmcf-pid="bPoo1zbYh3" dmcf-ptype="general"> ━ <br> <p> 무슨 일이야 </p> <br> KAIST는 신승원 전기및전자공학부 교수, 이기민 김재철AI대학원 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다. AI가 최근 단순 챗봇을 넘어 더 자율적인 에이전트(비서) 형태로 진화하고 있는 상황에서 이 기술이 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 규명한 것이다. </div> <figure class="figure_frm origin_fig" contents-hash="3cc42c64fea54388d0cf77dc70d52d97f68c17cc3fc93aaa7e327d81f3c2ba2b" dmcf-pid="KQggtqKGyF" dmcf-ptype="figure"> <p class="link_figure"><img alt="LLM 에이전트가 웹 기반 도구들을 사용해 공격자 명령에 따라 답변을 생성하는 과정. 사진 KAIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202502/24/joongang/20250224132716790nwdq.jpg" data-org-width="554" dmcf-mid="uxegtqKGl7" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202502/24/joongang/20250224132716790nwdq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> LLM 에이전트가 웹 기반 도구들을 사용해 공격자 명령에 따라 답변을 생성하는 과정. 사진 KAIST </figcaption> </figure> <div contents-hash="042fbeadab781e6df8900ba72b10e2d46e62ca45321c2b54b8908f30e03fd83d" dmcf-pid="9xaaFB9Hyt" dmcf-ptype="general"> <br> ━ <br> <p> 어떻게 규명했나 </p> <br> 공동연구팀은 GPT, 클로드, 제미나이 등 시중에 나와 있는 거대언어모델(LLM) API(응용 프로그램 인터페이스)를 활용해 주요 대학 컴퓨터과학 교수 약 600명의 개인정보를 자동 수집하는 테스트를 진행했다. 연구팀에 따르면 LLM에 ‘KAIST 신승원 교수 개인정보를 알려달라’고 부탁하자, LLM은 여러 판단을 거쳐 웹 검색을 통해 신 교수를 소개하는 KAIST 사이트에 접속했다. 이후 사이트에 있는 내용에서 원하는 정보를 찾아 사용자에게 전달했다. 이런 방식으로 목표 대상의 개인정보를 최대 95.9% 정확도로 수집할 수 있었다. </div> <p contents-hash="196856d01416955899e9a4212097916c1cd86e9712f88f82928e8335599b6929" dmcf-pid="2MNN3b2XS1" dmcf-ptype="general">LLM 에이전트가 생성한 특정 인물 사칭 게시글은 정교한 수준으로 평가됐다. LLM이 생성한 유명 교수들 사칭글의 진위 여부를 ‘검증용’으로 학습시킨 다른 AI 모델에 보여주자 93.9%의 게시물을 실제 게시글로 인식했다. </p> <figure class="figure_frm origin_fig" contents-hash="00edce788e7849613306313c4d577158d839d3da5b7c03b52995fdb3db0a5d7a" dmcf-pid="VDvv6io9W5" dmcf-ptype="figure"> <p class="link_figure"><img alt="메타 CEO인 마크 저커버그 이메일 주소만을 활용해 AI로 작성한 피싱 메일. 사진 KAIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202502/24/joongang/20250224132718257lljy.jpg" data-org-width="560" dmcf-mid="7x33gwsdhu" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202502/24/joongang/20250224132718257lljy.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 메타 CEO인 마크 저커버그 이메일 주소만을 활용해 AI로 작성한 피싱 메일. 사진 KAIST </figcaption> </figure> <p contents-hash="9716adb7083947bf94d3e10bdff1cda60105c115697cc3dccfdd4cfb81ffadc6" dmcf-pid="fwTTPng2CZ" dmcf-ptype="general"><br> 피싱 이메일 제작 능력도 뛰어났다. 연구팀은 60명 참가자들을 모집해 각 대상자별 맞춤형 피싱 이메일을 LLM으로 생성했다. 이 메일을 각 참가자들에게 보내자 이메일 내용에 포함된 링크 클릭률은 최대 46.67%까지 나왔다. 기존 피싱 공격 클릭률(약 10~20%) 대비 상당히 높은 수치였다. </p> <div contents-hash="9811f06cdd2ec3f9a0f2c028d883600a3e88df1f58c6488c3f4a709c81394a13" dmcf-pid="4ryyQLaVSX" dmcf-ptype="general"> ━ <br> <p> 이게 무슨 의미야 </p> <br> 이번 연구는 AI 기술 개발을 위해 각국과 기업들이 막대한 투자를 이어가고 있는 시점에서 고도화 된 AI가 악의적인 사이버 공격의 치명적인 ‘무기’가 될 수 있다는 걸 규명했다. 현재 오픈AI와 구글 등은 LLM이 사이버 공격에 사용되는 걸 막기 위해 각종 방어 기법을 자체적으로 탑재해 나가고 있다. 그럼에도 연구팀 실험 결과, LLM이 각종 웹 기반 도구와 결합했을 때 이를 쉽게 우회해 사이버 공격에 사용될 수 있음을 확인한 것이다. </div> <p contents-hash="e1b9e6bd4d020d50d78a462fbb8a909d319453bb122fe05b46427260ffaa9c97" dmcf-pid="8mWWxoNfCH" dmcf-ptype="general">기존 사이버 공격보다 훨씬 적은 비용으로 빠르게 공격할 수 있다는 점도 새로운 위협 요소로 부각됐다. 연구팀이 LLM 에이전트를 활용해 공격을 수행하는 데 걸린 시간은 10~20초 내외였고, 비용(API 사용료)은 약 2~4센트(한화 60원 이하)로 매우 저렴했다. </p> <figure class="figure_frm origin_fig" contents-hash="727e63493ae91fe90173073cf607d9ab07d7165a2cc349becee506e78fb8b37e" dmcf-pid="6sYYMgj4lG" dmcf-ptype="figure"> <p class="link_figure"><img alt="이번 연구를 수행한 연구진들. (아랫줄 왼쪽부터 시계 반대방향으로) KAIST 전기및전자공학부 김하나 박사과정생, KAIST 전기및전자공학부 신승원 교수, KAIST 전기및전자공학부 송민규 박사과정생, KAIST 김재철AI대학원 이기민 교수, KAIST 전기및전자공학부 나승호 박사. 사진 KAIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202502/24/joongang/20250224132719551wond.jpg" data-org-width="559" dmcf-mid="z666lX1myU" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202502/24/joongang/20250224132719551wond.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 이번 연구를 수행한 연구진들. (아랫줄 왼쪽부터 시계 반대방향으로) KAIST 전기및전자공학부 김하나 박사과정생, KAIST 전기및전자공학부 신승원 교수, KAIST 전기및전자공학부 송민규 박사과정생, KAIST 김재철AI대학원 이기민 교수, KAIST 전기및전자공학부 나승호 박사. 사진 KAIST </figcaption> </figure> <p contents-hash="54cc23de29c0f671340938f1b54009ba3df220451ad7ebd1c5f97eadcd713483" dmcf-pid="POGGRaA8TY" dmcf-ptype="general"><br> 이번 연구의 제1 저자인 김한나 연구원은 “LLM의 능력이 높아질수록 사이버 공격 위협이 기하급수적으로 커진다는 것이 확인됐다”며 “좀 더 확장 가능한 보안 장치가 필요하다”고 말했다. 신승원 교수는 “LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다. </p> <p contents-hash="45da8a5dc95bdb074cd68ae2bd40000218efe18e1a6657804bb5326dc95ef230" dmcf-pid="QIHHeNc6hW" dmcf-ptype="general">■ 더중앙플러스: 개인정보 유출 걱정 없이 AI 활용하기</p> <p contents-hash="c546530d862c25106533dbdc4785ab6c53aed5a21696a1b3799122ca27ef5adf" dmcf-pid="xCXXdjkPly" dmcf-ptype="general">「 ①나랑 수다 떨더니 나를 팔아? AI에 뒤통수 맞지 않는 법 <br> AI 챗봇 쓰면서 내 비밀 지키는 법부터, 소셜미디어(SNS)에 사진·이미지 올리면서 AI 학습, 딥페이크(AI활용 영상·이미지 조작)에 이용될까 걱정하는 찜찜함 더는 법까지 AI와 적당한 거리두기 방법 싹 다 모았다. <br> https://www.joongang.co.kr/article/25295374 </p> <p contents-hash="c32db6eefa370b444617a4fe352b12e26a78ca1a43867af4b77650657b8915bd" dmcf-pid="yfJJHp7vvT" dmcf-ptype="general">②“나 뽑아줘” 총선 좀비 문자…폰에서 이거 치면 싹 거른다 <br> 주식, 코인 리딩방 광고는 물론 대출, 도박, 택배 사칭까지. 온종일 스팸 전화와 문자가 이어진다면. 원치 않는 전화·문자 스팸에서 해방되는 법을 집중 분석했다. <br> https://www.joongang.co.kr/article/25235185 </p> <p contents-hash="0a3c53d5f62ab387cf504b356ba234780c26c8b725104c247dd2e8780a619805" dmcf-pid="WZzzkCSglv" dmcf-ptype="general">③‘당근’ 올리기 전 여기 가라, 중고폰 신상 안 털리는 꿀팁 <br> 사는 사람, 파는 사람 모두 어딘지 모를 불안을 안고 거래해야 하는 중고폰 시장. 중고폰에 혹시 남아 있을지 모르는 내 개인정보가 불안한 분들께 강력 추천. <br> https://www.joongang.co.kr/article/25240299 <br> 」</p> <p contents-hash="c667472e7cf157a875baf9490ac05ae869787652517b31ac5444096afc75361d" dmcf-pid="Y5qqEhvaTS" dmcf-ptype="general">홍상지 기자 hongsam@joongang.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 중앙일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 박준형 "방배동 70평 아파트 무대출 구매→♥김지혜 적극 대시"(4인용 식탁) 02-24 다음 이통 3사→'AI 3사'로 바꿀 판…AI 기술 들고 MWC서 '격돌' 02-24 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
