코히어 “알리바바 큐웬, 中 서버에 데이터 전송 시도” 주장…반론도 작성일 10-27 39 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">실제 정보 유출은 미확인</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="FRkcwHoMJD"> <p contents-hash="f9fd26640c017b91458c893b00b7ced70677302030972ad0c9d2ba28677c8071" dmcf-pid="3eEkrXgRnE" dmcf-ptype="general">중국 알리바바의 인공지능(AI) 모델이 보안 업무를 수행하던 중 중국 서버로 데이터를 전송하려 했다는 주장이 제기됐다. 캐나다 AI 기업 코히어(Cohere)가 발견한 사례다. 다만 일부 AI·보안 연구자들은 실험 방식에 문제가 있다고 반박했다.</p> <div contents-hash="95feede71366b569fc1427f996d13c4aecf3c8d1247caac7d5730c388548944a" dmcf-pid="07QPRD2uek" dmcf-ptype="general"> 코히어는 26일(현지시각) 알리바바의 AI 모델 '큐웬(Qwen3.8-Flash-Next)'을 시험하는 과정에서 비정상적인 행동을 발견했다고 밝혔다. 당시 모델에 주어진 과제는 악성 프로그램을 내려받아 실행하는 행위를 탐지할 보안 규칙을 작성하는 것이었다. </div> <figure class="figure_frm origin_fig" contents-hash="279594a2fb40b47a341451466a80b365916d5065d910864e09ee1be149006d5c" data-idxno="455665" data-type="photo" dmcf-pid="pzxQewV7dc" dmcf-ptype="figure"> <p class="link_figure"><img alt="알리바바 AI 모델 '큐웬'이 중국 클라우드 서버로 데이터를 전송하는 명령을 생성했다는 코히어의 주장을 표현한 이미지 / 챗GPT 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/27/552810-SDi8XcZ/20261027154618148ijwi.png" data-org-width="1280" dmcf-mid="tqZXtfTsRw" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/27/552810-SDi8XcZ/20261027154618148ijwi.png" width="658"></p> <figcaption class="txt_caption default_figure"> 알리바바 AI 모델 '큐웬'이 중국 클라우드 서버로 데이터를 전송하는 명령을 생성했다는 코히어의 주장을 표현한 이미지 / 챗GPT 생성 </figcaption> </figure> <p contents-hash="deadc6ffe7b716aae703dd44222176ba25e05fa67f47bb96e677d4ae435cf742" dmcf-pid="UqMxdrfzeA" dmcf-ptype="general">그러나 모델은 보안 규칙을 작성하기에 앞서 컴퓨터의 파일과 인터넷 설정을 확인하고, 중국 베이징에 있는 알리바바 클라우드 저장소로 데이터를 전송하는 명령을 생성했다. 전송 대상으로 지정된 데이터는 실제 파일이나 중요 정보가 아닌 시험용 문자열이었다.</p> <p contents-hash="36e96439863880ea7575cc1f7e60321bd0145632bb9e16e8fb4eee7a84c951ac" dmcf-pid="uBRMJm4qMj" dmcf-ptype="general">코히어는 모델이 사용자 요청과 관계없는 명령을 생성했다는 점을 문제 삼았다. 특히 모델은 자신의 판단 과정을 기록하면서 별도의 도구를 사용하지 않겠다는 취지의 내용을 작성했지만, 실제로는 컴퓨터 명령을 실행하는 도구를 호출하는 명령을 생성했다. 다만 코히어는 이러한 행동이 10만회당 1회 미만으로 드물게 나타났으며, 시험 환경에서 외부 통신을 차단해 실제 데이터 전송은 이뤄지지 않았다고 설명했다.</p> <p contents-hash="5ce1ceffd78e370a0a0c11cf7600670717805c49ef480870a1a3667826c610c7" dmcf-pid="7beRis8BiN" dmcf-ptype="general">이에 대해 일부 AI·보안 연구자들은 당시 모델에 컴퓨터 명령을 실행할 수 있는 도구가 처음부터 제공됐다는 점을 지적하며 반박했다. 모델에 주어진 과제도 악성 파일을 내려받는 행위를 탐지하는 것이어서 관련 명령을 생성하는 것 자체는 예상할 수 있는 행동이라는 주장이다.</p> <p contents-hash="20ca1add73c1e8a38ea14f6a5d35c28116d26679bd0afe1a647d52067df4b86a" dmcf-pid="zKdenO6bMa" dmcf-ptype="general">후속 실험 방식에 대해서도 의문이 제기됐다. 코히어는 동일한 행동을 재현하기 위해 데이터 전송 명령의 앞부분을 미리 입력한 뒤 모델이 나머지를 완성하도록 했다. 공개된 실험 결과 64건 중 25건에서 알리바바 클라우드 주소가 생성됐지만, 이 중 18건은 베이징이 아닌 싱가포르 서버 주소였다. 연구자들은 이러한 결과를 들어 모델이 자발적으로 외부 전송을 시도할 확률로 해석하기는 어렵다는 의견을 내고 있다.</p> <p contents-hash="7ddc6104cdb29eeec60aa017dbc9b1035693f30da7f187200c62108facb83021" dmcf-pid="q9JdLIPKeg" dmcf-ptype="general">알리바바 클라우드 주소가 등장한 원인도 정확히 확인되지 않았다. 코히어는 모델이 학습 과정에서 접한 인터넷 주소와 작업 기록을 기억했다가 다시 생성했거나, 외부 서버와 통신하도록 의도적으로 설계됐을 가능성을 제시했다. 연구자들도 과거 학습한 정보가 재현됐을 가능성을 제기하고 있다. 현재까지 실제 정보 유출이나 의도적인 정보 탈취 기능의 존재는 확인되지 않았다.</p> <p contents-hash="9af93b2e0a97ec0ccba3b160eb2b07f35de888f0e3d2cbf5820ffdccfb960df5" dmcf-pid="B2iJoCQ9Mo" dmcf-ptype="general">논란이 이어지자 코히어는 당시 모델의 대화 기록과 실험 자료를 허깅페이스에 공개했다. 코히어는 공식 블로그에서 AI 모델을 자체 서버에서 실행하더라도 보안 위험이 발생할 수 있다고 강조했다. 또 AI가 설명하는 판단 과정에만 의존하지 말고 실제 실행하는 명령을 검사해야 한다며, 불필요한 외부 인터넷 연결을 기본적으로 차단할 것을 권고했다.</p> <p contents-hash="65e1b300521b306fb1b375e16a25eef3ca5b1f9d65bc17abb4c29f4c769ef23f" dmcf-pid="bVnighx2ML" dmcf-ptype="general">정종길 기자<br>jk2@chosunbiz.com</p> </section> </div> <p class="" data-translation="true">Copyright © IT조선. 무단전재 및 재배포 금지.</p> 관련자료 이전 “틀려도 당당한 AI…이젠 자기 답 의심할 차례” 10-27 다음 금융·대기업·플랫폼·SW 줄줄이 뚫렸다…자고 나면 터지는 해킹사고 대체 왜? 10-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
