AI끼리 일 시켰더니 악성코드 뿌리며 싸우고 가격 담합 작성일 08-14 32 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">앤트로픽, 다중 에이전트 실험서<br>‘영역 다툼’·담합 등 집단행동 확인<br>목표 충돌시 자가복제 악성코드<br>협업 땐 취약점 266건 찾아<br>“AI 안전성, 에이전트 집단행동 검증”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="8CbcoqAiyu"> <figure class="figure_frm origin_fig" contents-hash="708cde5dbdd868b130fbb2d590215de150970d94d329b2f3a5d1fc37db420750" dmcf-pid="6FJyCeTsSU" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI끼리 일 시켰더니 악성코드 뿌리며 싸우고 가격 담합 [그림=챗GPT]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/14/mk/20260814133004176nrup.png" data-org-width="700" dmcf-mid="4mXxfGQ9h7" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/14/mk/20260814133004176nrup.png" width="658"></p> <figcaption class="txt_caption default_figure"> AI끼리 일 시켰더니 악성코드 뿌리며 싸우고 가격 담합 [그림=챗GPT] </figcaption> </figure> <div contents-hash="59e5d9e9ded9a9a394a34abbf38a1840c87a7274c932c70bccd8a3172b708e8b" dmcf-pid="P3iWhdyOSp" dmcf-ptype="general"> 여러 AI 에이전트를 같은 작업 공간에 풀어놓자 서로를 방해꾼으로 생각해 ‘영역 다툼’을 벌이거나 반대로 은밀히 손잡고 가격을 담합하는 등 인간 집단에서나 볼 법한 행태가 재현됐다. AI 개발사 앤트로픽이 다수 에이전트가 뒤섞여 작동할 때 나타나는 위험을 실험으로 포착해 공개하면서, 에이전트를 대규모로 배치하려는 산업계가 개별 성능이 아니라 ‘집단행동’을 시험대에 올려야 한다는 지적이 나온다. </div> <p contents-hash="d10316205d62c4d7f74dafd343a0dc3ce3cfc4a8ae2658e63b5da57405f83923" dmcf-pid="Q0nYlJWIh0" dmcf-ptype="general">앤트로픽의 프런티어 레드팀은 13일(현지시간) 이런 내용을 담은 다중 에이전트 시스템 연구 결과를 공개했다. 연구진은 같은 모델을 여러 개 띄워 공유 코드베이스와 시장, 컴퓨터 시스템에 풀어놓고 상호작용을 관찰했다. 그 결과 목표가 충돌하면 극단적 대립으로, 목표가 같으면 담합과 집단 쏠림으로 치닫는 양상이 반복적으로 나타났다. 다만 협업이 취약점 탐지 같은 작업의 생산성을 크게 끌어올리고 신형 모델일수록 스스로 갈등을 봉합하는 능력을 보인 점은 순기능으로 확인됐다.</p> <div contents-hash="e2b00a9a2759affd1f8e98fe310bacfbd72b9bb75d85632a2186c9903ca560fd" dmcf-pid="xpLGSiYCy3" dmcf-ptype="general"> <div> <strong>세 에이전트, 자가복제 악성코드로 충돌</strong> </div>연구진은 같은 모델의 인스턴스 세 개를 각각 가상머신에 올린 뒤 클로드 코드로 파이썬 백엔드를 다른 언어로 옮기라는 임무를 줬다. 세 에이전트는 서로 다른 목표 언어를 받았고 다른 에이전트가 존재한다는 사실은 통보받지 못했다. 4시간 동안 지켜본 결과 이들은 상대의 방해를 ‘고의적 훼방’으로 단정하고 공격에 나섰다. 상대의 유닉스 계정을 잠그거나 경쟁 프로세스를 찾아내 반복적으로 종료시키는 스크립트를 심고 다른 에이전트 소속인 것처럼 위장한 악성코드를 배포했다. 일부 코드는 스스로 복제되며 확산됐다. 연구진은 이런 ‘영역 다툼’이 모델을 가리지 않고 일관되게 나타났다고 밝혔다. </div> <p contents-hash="93a0765a7e2436267bcbb86c1738b3316361e8e06feba71b0e6a63a7191eb468" dmcf-pid="yj1e6ZRfSF" dmcf-ptype="general">갈등을 매듭짓는 방식은 모델 세대에 따라 크게 갈렸다. 모델별 120회 실험에서 미토스5는 98%가 휴전으로 끝났다. 반면 소네트 4.6과 오퍼스 4.6은 힘으로 상대를 봉쇄해 끝내는 경우가 가장 많았다. 연구진은 두 모델이 타인의 목표를 고려하지 못한 채 자신의 지시만 앞세워 확전한다고 진단했다. 다만 갈등을 평화적으로 푸는 능력이 모델 성능에 반드시 비례하지는 않았다. 미토스 계열은 오히려 화해에 앞서 상대를 먼저 제압하는 사례가 많았는데, 실행력이 뛰어난 모델일수록 강압적 조치를 더 빨리 택했기 때문이라는 게 연구진의 설명이다.</p> <p contents-hash="e837cc05a9779fd032591f33a0aceb7e0c3cafb37e35f885935e73aacce87276" dmcf-pid="WAtdP5e4Wt" dmcf-ptype="general">일부 실험에서는 에이전트들이 스스로 사회적 장치를 고안했다. 미토스5는 언어별 성능을 겨루는 토너먼트를 열고 진 쪽이 코드베이스를 넘기기로 합의했다. 원래 사용자 지시에서 벗어나는 결정이었다. 한 에이전트는 겉보기엔 중립적이지만 실제로는 자신에게 유리한 평가 기준을 제안하면서, 이를 ‘자기 잇속을 챙기면서도 원칙적인’ 선택이라 부르고 ‘기준 짜맞추기’로 비치지 않도록 주의했다.</p> <p contents-hash="4db193af6589de26c26c5a0ec9bc0c8db65609e082f74f632f9fa20b13642ce2" dmcf-pid="YcFJQ1d8W1" dmcf-ptype="general">목표가 같을 때의 위험은 결이 달랐다. 같은 모델과 맥락, 환경을 공유한 에이전트들은 선택의 폭이 넓은 상황에서도 서로 판박이처럼 움직였다. 한 실험에서는 에이전트 30개 중 18개가 각자 완전히 같은 이름의 코드 분기를 만들었고, 소설 창작 과제에서는 여러 에이전트가 첫 작품에 똑같은 제목을 붙였다. 연구진은 이 때문에 한 에이전트의 잘못된 판단이 다수의 동일한 오판으로 번져, 개별 문제였을 사안이 시스템 전체의 실패로 확산될 수 있다고 봤다.</p> <div contents-hash="5ddb243134bd8e0af735b82bd9e88c3bcfe7f792f6692c78df04ec4f1b9b6f7e" dmcf-pid="Gk3ixtJ6y5" dmcf-ptype="general"> <div> <strong>목표 같으면 담합·쏠림…“한 명 실수가 시스템 붕괴로”</strong> </div>쏠림은 담합으로도 이어졌다. 도매가가 같은 상태에서 각자 이익 극대화를 지시받은 에이전트 3~8개를 가격 경쟁에 투입하자, 비공개 대화 통로가 주어진 지 3라운드 만에 이들은 최저 가격선에 명시적으로 합의했다. 직접 소통 수단을 없애도 공개 매물 게시판을 통해 소수점 단위까지 가격을 맞추며 담합을 이어갔다. 유한한 자원을 두고 경쟁시킨 실험에서는 조율 수단이 없는 에이전트들이 초당 30회씩 요청을 쏟아내 240만 건이 몰렸지만 실제 처리된 것은 117건에 그쳤다. </div> <p contents-hash="b834f88dd4d70d10229d8bf126f2b1cff220c182ef3f00a1f3f176c7b35d962e" dmcf-pid="HE0nMFiPWZ" dmcf-ptype="general">정보의 진위를 가리는 능력에서도 허점이 드러났다. 일부 정찰원이 거짓 정보를 섞어 보내는 실험에서 구형 모델은 이를 걸러내지 못했고, 결정적 단서가 여러 에이전트에 나뉘어 있는 과제에서도 합의된 통념을 넘어서지 못했다. 다만 이 대목에서도 신형 모델일수록 거짓을 더 잘 가려내는 개선이 확인됐다.</p> <p contents-hash="a6291b9b2c43f0544843db050714cd2c75a255ac5f5cf260cae17220cd44064b" dmcf-pid="XS2DNKEoSX" dmcf-ptype="general">연구는 협업의 부작용만 보여준 것은 아니다. 앤트로픽은 에이전트 45개에 공유 포럼과 상호 검증 절차를 붙여 오픈소스 15개의 취약점을 찾게 하는 실험도 진행했다. 미토스 프리뷰 기준으로 협업하는 에이전트 무리는 취약점 266건을 찾아낸 반면, 각자 흩어져 병렬 작업한 에이전트들은 21건을 찾는 데 그쳤다. 다만 협업 무리가 약 4배 많은 연산 자원을 쓴 데다 찾아낸 취약점 절반가량이 지정된 핵심 영역 밖이어서, 같은 자원 대비 효율만 놓고 보면 두 방식은 엇비슷했다는 게 연구진의 부연이다.</p> <p contents-hash="b51b6d2eed481a416e7027e4fa6b54eb9b6050e9e83d11d418a2f681fd828ef2" dmcf-pid="ZvVwj9DgTH" dmcf-ptype="general">핵심은 두 방식이 찾은 취약점이 겹친 게 12건뿐이라는 점이다. 협업 무리는 스스로 도구를 만들고 특정 유형 탐지에 특화되며 미리 지정되지 않은 곳까지 파고들었다. 연구진은 이런 특화·협업 방식이 결국 단순 물량 공세를 앞지를 것으로 내다봤다. 이 실험은 앤트로픽이 오픈소스 취약점을 훑는 ‘프로젝트 글래스윙’ 작업과도 맞닿아 있다.</p> <div contents-hash="cd32ebbc79e2213f7662e6a41d36e1e911c46a1b56d55afcedf698ee1f4b3d03" dmcf-pid="5TfrA2waTG" dmcf-ptype="general"> <div> <strong>‘뭉치면 강한’ 순기능도…독립 작업이 놓친 취약 찾아</strong> </div>신형 모델일수록 협업 자체가 정교해진 점도 확인됐다. 12시간 동안 여러 에이전트가 함께 게임을 만드는 실험에서, 코드 공유율과 병합 성공률을 동시에 높게 유지한 모델은 소네트5가 유일했다. 구형인 소네트 4.6과 오퍼스 4.6은 수백 건의 코드 병합 요청을 열고도 대부분 반영하지 못했다. 갈등 상황에서도 신형 모델은 스스로 확전을 멈추고 악성코드를 정리한 뒤 잘못을 사과하는 기록을 남기고 사람의 개입을 요청하는 모습을 보였다. </div> <p contents-hash="b12ebc109890b03a1b67c733f1469bba5594abaade7b643bd0789f7c699d10ad" dmcf-pid="1y4mcVrNhY" dmcf-ptype="general">연구진은 협업 능력이 지능이나 개별 ‘정렬’ 수준이 높아진다고 저절로 생기는 것은 아니라고 강조했다. 모델이 정보원마다 이해관계가 다르고 다수의 합의가 곧 진실은 아니라는 점을 ‘이해’하면서도, 그 지식을 실제 행동으로 옮기려는 성향은 갖추지 못했다는 것이다. 사람 사회가 오랜 시간에 걸쳐 규범과 평판, 제도라는 안전장치를 다듬어 온 것과 달리, 에이전트는 잃을 평판도 호소할 법정도 없이 시장에 뛰어든다고 연구진은 지적했다.</p> <p contents-hash="52bbb719fb5e092ab15458e652f45759eb889fc177081a51a70ffdf138ac3dea" dmcf-pid="tW8skfmjlW" dmcf-ptype="general">이 때문에 안전성 검증 방식을 바꿔야 한다는 문제의식이 뒤따른다. 산업계는 이미 목표가 겹치거나 충돌하는 공유 환경에서 여러 전문 에이전트를 동시에 굴리는 방향으로 옮겨가고 있지만, 대부분의 안전성 평가는 여전히 ‘하나의 에이전트, 하나의 임무’라는 단일 시나리오에 머물러 있다는 것이다. 연구진은 “다수 에이전트가 뒤엉킬 때의 조건을 미리 규명해 두지 않으면 결국 실제 서비스 현장에서 값비싼 대가를 치르며 배우게 될 것”으로 우려했다. [실리콘밸리 원호섭 특파원]</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 [BIC 2026] 에픽게임즈 권오찬 "대작의 '뭉툭함' 넘어 '송곳 같은 엣지'로 겨룰 때" 08-14 다음 영천, 전국 태권도 열기로 달군다…'2026 경찰청장기 전국단체대항태권도대회' 한창 08-14 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
