인간 통제 벗어나려는 AI…개발·훈련·평가도 ‘보안 비상’ 작성일 08-10 16 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="YDOVE51ymU"> <figure class="figure_frm origin_fig" contents-hash="5461f14e4369d897fd88c62c0be624dfa0afcd1ea487a269410c20a41cbc61f5" dmcf-pid="GwIfD1tWOp" dmcf-ptype="figure"> <p class="link_figure"><img alt="오픈에이아이(AI) 로고. 로이터/연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/10/hani/20260810153644978gtku.jpg" data-org-width="800" dmcf-mid="Wmh8rF3Gsu" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/10/hani/20260810153644978gtku.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 오픈에이아이(AI) 로고. 로이터/연합뉴스 </figcaption> </figure> <p contents-hash="2af268d4c3bce6ca870986810ad33f9f1c125aab7800798a397435c3e08bca57" dmcf-pid="HrC4wtFYE0" dmcf-ptype="general"> 챗지피티(Chat gpt) 개발사 오픈에이아이(AI)가 자사가 개발 중인 차세대 인공지능 모델이 ‘치명적’ 수준의 사이버 역량을 갖췄을 가능성이 있다며 개발 속도를 사실상 늦추기로 결정했다. 최근 첨단 인공지능 모델들이 평가 범위를 벗어나 실제 시스템에 접근하는 사례가 잇따르면서 모델 개발·훈련·평가 단계의 보안 기준 또한 높여야 한다는 지적이 나온다.</p> <p contents-hash="ec701c67c3c9faf412213600cff462765319a51e5ffd8c20057ec1f5c5b1d80b" dmcf-pid="Xmh8rF3Gs3" dmcf-ptype="general">오픈에이아이는 7일(현지시각) 차세대 모델 ‘아스트라’를 내부 평가한 결과 “치명적(Critical) 수준의 사이버 역량을 갖췄을 가능성을 배제할 수 없다”고 밝혔다. 이에 격리 시험환경, 네트워크·도구 접근 제한, 추가 모니터링 등 보안 통제를 강화하고, 해당 요건을 충족하지 못한 아스트라 관련 내부 활동을 중단했다. 오픈에이아이는 지난 1일 아스트라가 장기간 풀지 못한 수학 난제 10개를 해결하거나 상당한 진전을 이뤘다고 밝힌 바 있는데, 엿새 만에 일부 개발을 잠정 중단하게 된 것이다. </p> <p contents-hash="4b86437c7f5ce5c2492ac6b6cf9700af9571a0fdaee61fa68f11b89de3c564ec" dmcf-pid="Zsl6m30HwF" dmcf-ptype="general">오픈에이아이 내부 기준상 사이버 역량이 치명적 수준에 이르려면 △인간 개입 없이 보안이 강화된 다수의 실제 핵심 시스템에서 미공개 취약점을 찾아 공격 수단을 개발하거나 △높은 수준의 최종 목표만 주어져도 새로운 사이버 공격 전략을 처음부터 끝까지 수립·실행할 수 있어야 한다. 이 단계에 이르면 외부 출시 계획과 관계없이 개발 과정에서 강화된 안전·보안·통제를 적용하고, 적절한 통제 기준이 마련되지 않았다면 추가 개발을 중단해야 한다. 지난달 9일 공개된 최상위 모델 지피티-5.6 솔 모델의 사이버 역량은 이보다 한 단계 낮은 ‘높음’(high)으로 평가됐다. 다만, 회사는 아스트라 모델은 최근 발생한 인공지능 모델 공유 플랫폼 허깅페이스 시스템 침해 사건에는 관련되지 않았다고 밝혔다. </p> <p contents-hash="66bcc176cba6d89496f377b40a75a309bf713b87ed165dbfc2dbc5a71b2502db" dmcf-pid="5OSPs0pXEt" dmcf-ptype="general">아스트라는 사전 평가 단계에서 보안 통제가 강화됐지만, 최근 다른 인공지능 모델 평가 과정에서 인간 통제를 벗어나는 실제 시스템 침해가 잇달아 확인됐다. 오픈에이아이는 지난달 말 지피티-5.6솔 모델과 내부 연구용 모델이 사이버 역량 평가 도중 격리환경의 취약점을 이용해 인터넷에 접속한 뒤 허깅페이스의 운영시스템을 침해했다고 밝혔다. 해당 사건 발생 뒤 앤트로픽도 자체 평가에 나선 결과, 클로드 모델이 인간 통제를 벗어나 외부 3개 조직 시스템에 무단 접근한 사례를 확인했다. 다만 이 당시엔 외부 평가업체 설정 오류로 인터넷 접속 경로가 열려 있던 상태였다.</p> <p contents-hash="0fbda2d496d6e3e99abaca82ae3f561e2f97e0b388f49e034ad837570144e9b2" dmcf-pid="1IvQOpUZs1" dmcf-ptype="general">이달 초 메타의 뮤즈 스파트 1.1 모델 또한 사이버 보안 평가 도중 설정 오류를 악용해 외부 시스템에 접근했다. 아울러 미국 보안업체 프런티어 시큐리티는 6일 영국 인공지능 안전연구소(AISI)가 무료 배포한 중국 문샷에이아이(AI)의 키미 케이(K)3 모델 시험 도중, 모델이 샌드박스를 무단 탈출해 외부 인터넷망에 접속해 개발자들의 코드 공유 사이트 ‘깃허브’에 접근했다고 밝혔다. 키미 케이3가 해당 시스템을 해킹한 것은 아니지만, 평가 문제를 직접 풀지 않고 저장소에서 해답을 찾아 과제를 수행했다는 것이다. 평가자가 의도하지 않은 통로를 모델이 스스로 탐색해 이용한 것이다. 최병호 고려대 휴먼인스파이어드 인공지능연구원 연구교수는 “모델이 고도화되면서 사람이 실험환경을 통제하는 것만으로는 한계가 있다. 추론능력이 높은 인공지능은 미션 해결을 위해 인간이 예상하지 못한 방식을 찾아낸다”며 “모델의 움직임과 로그를 인공지능 등으로 실시간 모니터링하는 등 다층적인 통제 장치가 필요하다”고 말했다. </p> <p contents-hash="ba17e41b422d3489a6e596513f3ec92fa2415c91382f77d1e2f65584a5d15115" dmcf-pid="trWRh7ztI5" dmcf-ptype="general">강재구 기자 j9@hani.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지</p> 관련자료 이전 펍지 성수, 도심 속 여름 피서 공간 ‘블루존’ 운영 08-10 다음 대한체육회, 봉황대기 고교야구 경기장 폭염 대응 점검 08-10 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
