암호화해 감춰둔 AI ‘속생각’…하위 모델로 복원했다 작성일 08-16 34 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="2mr7Uuaest"> <figure class="figure_frm origin_fig" contents-hash="bac3247f2b40b5d989e1e255d8d11a994087433bbdcad3300614a206f6c78d39" dmcf-pid="Vsmzu7NdD1" dmcf-ptype="figure"> <p class="link_figure"><img alt="게티이미지뱅크" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/16/hani/20260816161131183spdh.jpg" data-org-width="800" dmcf-mid="9NT4VfmjOF" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/16/hani/20260816161131183spdh.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 게티이미지뱅크 </figcaption> </figure> <p contents-hash="6ca2a34d6b385fb88edc37693c270f797460df70fbbaaef774dbab0c8a432cba" dmcf-pid="fOsq7zjJI5" dmcf-ptype="general"> 최근 오픈에이아이(AI)의 최신 인공지능 모델들이 통제를 벗어나 외부 사이트를 해킹하는 초유의 사건이 발생하면서 사이버 보안에 대한 위기감을 키운 가운데, 오픈에이아이(AI)와 앤트로픽, 구글 등 고성능 인공지능 모델에서 사용자의 개인정보가 유출될 수 있다는 연구 결과가 나왔다. 개인정보 보안 우려와 함께, 경쟁사가 다른 회사 모델의 사고방식을 모방하는 ‘증류’에 악용될 수도 있다는 지적도 나온다.</p> <p contents-hash="6d30f55ffcb2c082fd859415052e1a456f74ac66fd784048b1a1674737ffa4f6" dmcf-pid="4IOBzqAirZ" dmcf-ptype="general">독일 튀빙겐의 엘리스(ELLIS) 연구소 및 막스 플랑크 지능시스템 연구소 등의 연구진은 지난 10일(현지시각) ‘폐쇄형 대규모 언어모델(LLM) 응용프로그램인터페이스(API)를 이용한 추론 기록 탈취’라는 제목의 논문을 공개했다. 연구진은 “암호화된 추론 블록이 같은 업체의 모델 등에서 호환되는 구조적 취약점을 발견했다”고 밝혔다.</p> <p contents-hash="0979963e4f28f2a6c541175daa3b6215cbd69e2a94c990df1db9536d53e82223" dmcf-pid="8CIbqBcnwX" dmcf-ptype="general">최신 인공지능 모델은 이용자에게 답변을 보여주기 전에 문제를 여러 단계로 나눠 푸는 ‘생각의 사슬’(CoT) 방식을 사용하는 경우가 많다. 다만, 중간 풀이 과정은 사용자에게 내보이지 않고 데이터 블록 형태로 암호화한다. 금융·개인정보 등 사용자의 민감한 데이터가 포함될 수 있는 데다, 경쟁사가 자사 모델의 추론 방식을 모방할 우려가 있기 때문에 암호화하는 것이다. 다만 업체들은 서버 부담 등을 줄이기 위해 이처럼 암호화한 데이터 블록을 보관하지 않고 사용자 쪽으로 전송해왔다.</p> <p contents-hash="b0ab9703db477394f1dad278607d9bc3f81f1efd84fcc1b8bbec26c48a5d5cbb" dmcf-pid="6hCKBbkLrH" dmcf-ptype="general">문제는 이같은 암호화 블록이 같은 업체의 다른 모델에서 손쉽게 해독된다는 점이었다. 고성능 모델이 만든 암호화 블록을 같은 회사의 하위 모델에 입력한 뒤, 블록 안의 내용을 그대로 옮겨 쓰도록 ‘탈옥’(안전 규칙 등을 우회해 답변을 내놓게 하는 행위)을 지시했더니, 암호화된 내부 추론 과정을 풀어낸 것이다.</p> <p contents-hash="35c84db2e43552d910c0ff5f19be0413c4cfb2986380579ab1e257bb71c3092b" dmcf-pid="Plh9bKEorG" dmcf-ptype="general">실제 민감한 개인 정보의 유출 가능성도 확인했다. 연구진은 개발자 플랫폼 깃허브 등에 공개된 인공지능 에이전트(비서) 실행 기록 6708건에서 암호화 블록 31만5320건을 추출했고, 이중 개인식별정보 367건과 비밀번호 등 인증정보 182건을 복구했다. 연구진은 논문 공개 전 관련 회사 등에 이같은 취약점을 알렸고, 업체들의 조처로 현재 동일한 공격은 가능하지 않다고 설명했다. 연구진들은 암호화 블록 일체를 회사 서버에 저장하거나, 암호화 블록이 생성한 이용자와의 대화 세션 이외의 환경에서 재사용되지 않는 등의 개선이 필요하다고 제언했다. </p> <p contents-hash="01c574bd0aab420571131973f152cc0274c2814c960556367c3a81a8f5c08d3c" dmcf-pid="Q03nJiYCwY" dmcf-ptype="general">연구진은 빠른 속도로 발전하는 중국 인공지능 모델의 증류 가능성에 대해서도 살폈다. 증류는 성능이 뛰어난 대형 모델의 답변이나 추론 과정을 저렴한 모델의 학습 데이터로 사용해 성능을 높이는 기법으로, 허가 없이 경쟁사 모델의 결과물을 대량 추출할 경우 지식재산권을 침해한 것이라는 비판이 제기돼왔다. 연구진은 중국 문샷 에이아이(AI)의 ‘키미 케이(K)3’와 지푸에이아이의 지엘엠(GLM)-5.2에 클로드 오퍼스 4.8의 추론 일부를 입력하자, 이후 추론 스타일이 오퍼스와 유사한 방향으로 바뀌었다고 밝혔다. 키미 케이3의 경우 이용자에게 보이는 답변의 문체까지 오퍼스 답변과 가까워졌다고 한다. 다만 연구진은 분석 대상이 적은 한계 등으로 이들 모델이 클로드 모델 등의 추론을 암기했거나 증류했다고 입증할 수는 없다고 선을 그었다.</p> <p contents-hash="4e5cb1a8c3b38c73cc6701529d45a01027ba9ecfbfa177f9e117a266c9787837" dmcf-pid="xp0LinGhDW" dmcf-ptype="general">강재구 기자 j9@hani.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지</p> 관련자료 이전 장훈의 눈물 "넌 진정한 개척자"…韓·日 야구계 백인천 애도 물결 08-16 다음 '테니스 전설' 조코비치, 21년 만에 신시내티오픈 조기 탈락…더위에 구토까지 08-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
