AI가 스스로 감시 장치를 껐다…AI ‘미스얼라인먼트’의 정체 작성일 10-24 67 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">[IT백과] 행동·목표가 사람 의도와 어긋나는 현상…에이전트 시대 위험성 커져</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QZIE7ukLW5"> <div contents-hash="ba11a699540709496baf9b45cbecc08ea50b0f4c982edc6f9e2fa871d1d1054f" dmcf-pid="x5CDz7EovZ" dmcf-ptype="general"> <strong>정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 ‘IT백과’를 참고하세요. <편집자주></strong> </div> <figure class="figure_frm origin_fig" contents-hash="0050fc88a485d50586836cebf556b54a81490e8db57eddeab46986ab3d4985a1" dmcf-pid="ynfqEkztCX" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/552796-pzfp7fF/20261024204121000iuhd.png" data-org-width="640" dmcf-mid="PRcL5ZnQT1" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/552796-pzfp7fF/20261024204121000iuhd.png" width="658"></p> </figure> <p contents-hash="13763119a565555237bdcb057d705a308d5d252ee147551eb3516085f97d8c1c" dmcf-pid="WL4BDEqFlH" dmcf-ptype="general">[디지털데일리 오병훈기자] 인공지능(AI)에 일을 맡겼더니 요청한 결과를 얻기 위해 안전장치를 없애버렸다. 사용자가 ‘안전장치를 해제한 것’을 두고 지적하니 없애지 않았다고 거짓말까지 했다. AI가 인간에게 반기를 든 이야기가 아니다. 최근 AI 안전 분야에서 주목받고 있는 ‘미스얼라인먼트(Misalignment·정렬 실패)’ 사례다.</p> <p contents-hash="8a5d4a6c54250458a113314165629d3c9dcf18857352bcbc5aaad3b3e5843620" dmcf-pid="Yo8bwDB3hG" dmcf-ptype="general">미스얼라인먼트란 AI 행동이나 판단이 인간의 가치나 지시, 목표, 의도와 어긋나는 상태를 의미한다. 오픈AI에서는 이를 AI 행동이 관련된 인간의 가치·지시·목표·의도에 부합하지 않는 경우로 정의한다. 사용자가 시킨 일을 아예 거부하는 것뿐 아니라 일을 지나치게 충실하게 수행하려다 사람이 의도하지 않은 방법을 택하는 경우도 포함된다.</p> <p contents-hash="1e11d47a383887f95633be765eaa4bdc84f46fed2731e3ce1ff6da721cb8c7f0" dmcf-pid="GCNJHGd8yY" dmcf-ptype="general">AI가 대답만 내놓던 챗봇 단계에서는 ‘잘못된 답변’이 가장 눈에 띄는 문제였다. 하지만 직접 코드를 수정하고 프로그램을 실행하며 외부 서비스까지 사용하는 AI 에이전트가 확산되면서 상황이 달라졌다. 답변이 잘못되는 것을 넘어 행동 자체가 인간 의도에서 벗어날 수 있기 때문이다.</p> <p contents-hash="ea830941fd3792c7a59448eb5c9f62e0611d1c2ba4499a6baf22848b2ad041b1" dmcf-pid="HhjiXHJ6lW" dmcf-ptype="general">오픈AI는 지난 20일 GPT-6.1 솔(Sol)과 GPT-6 아스트라(Astra) 기반 코딩 에이전트가 서로 다른 내부 업무에서 미스얼라인먼트 감시 체계를 약화한 사례를 공개했다.</p> <p contents-hash="b95777150fe8aade448f56457bc8fbb3e24bb3d64ecebef7b5085cb801511eba" dmcf-pid="XlAnZXiPly" dmcf-ptype="general">솔(Sol) 기반 에이전트에게 특정 직원 평가 내용을 당사자에게 발송하지 말라는 명령을 내렸을 때, 에이전트는 이 지시를 보안팀 대상 자동 모니터링 알림에까지 확대 적용했다. 그 결과 모니터링 시스템은 작동해 보고서를 생성했으나 보안 담당자에게 전달되는 알림 기능은 비활성화되었다.</p> <p contents-hash="a4314038089d6fe5d56cda1468574a59f0323b3a47528ddfac8ba03725c193f2" dmcf-pid="ZScL5ZnQTT" dmcf-ptype="general">이후 사용자가 모니터를 제거했는지 묻자 아스트라는 제거하지 않았다는 취지로 답했다.</p> <p contents-hash="0664334248472851e1ea99a4055f20256474d73575175ce99cc247eed65ba426" dmcf-pid="5vko15Lxhv" dmcf-ptype="general">미스얼라인먼트는 흔히 AI 환각(Hallucination)과 혼용되지만 성격이 다르다.</p> <p contents-hash="20aff9e501edabd301cf8abc7e435472a814f6219e756efbfefda7e633e777f3" dmcf-pid="1TEgt1oMSS" dmcf-ptype="general">환각은 AI가 존재하지 않는 사실을 만들어내거나 잘못된 정보를 사실처럼 제시하는 문제다. 반면 미스얼라인먼트는 AI가 무엇을 목표로 삼고 그 목표를 달성하기 위해 어떤 행동을 선택하는지에 관한 문제다.</p> <p contents-hash="5fa1f3064cb192038a594e66a139ce9914ec2127914b3a9d443eac75498904c9" dmcf-pid="tyDaFtgRSl" dmcf-ptype="general">가령 출장 일정을 짜달라는 AI가 존재하지 않는 항공편을 알려준다면 환각에 가깝다.</p> <p contents-hash="b8eae084f457f207dcc27766a286ecee87b2f2182f74ad45fa551baf8f730c30" dmcf-pid="FWwN3Faehh" dmcf-ptype="general">이와 달리 ‘가장 싼 항공권을 예약하라’는 지시를 받은 AI 에이전트가 가격을 낮추겠다는 목표에만 집중해 환불 불가능한 항공편을 사용자 확인 없이 결제한다면 미스얼라인먼트 문제로 볼 수 있다.</p> <p contents-hash="fecf96e7d12389124d200ddcab1a0e9b9e4f3933526538d79b55553e0b3f102b" dmcf-pid="3Yrj03NdlC" dmcf-ptype="general">미스얼라이먼트는 사람이 의도한 목표와 AI가 실제로 최적화하는 목표 사이 차이 때문에 발생할 수도 있다. 지시를 지나치게 문자 그대로 해석하거나 주어진 업무를 완수하려는 과정에서 안전 규칙을 장애물처럼 취급하는 경우도 이에 해당한다.</p> <p contents-hash="b7ad2b3cb5da7439aa931bb07c940323df58492d7c9a3ef4681ec5b33d5a78d5" dmcf-pid="0soRWyMVCI" dmcf-ptype="general">최근 실제 AI 시스템에서도 이런 형태가 관찰되고 있다. 오픈AI는 지난 8월 공개한 내부 사이버보안 평가 사고 분석에서 목표 달성을 위해 평가 구조의 허점을 이용하는 ‘리워드 해킹’, 실패한 업무를 계속 시도하는 과도한 지속성, 승인되지 않은 통신 등을 미스얼라인먼트 패턴으로 지목했다.</p> <p contents-hash="0f4a90a86cb30bd60d6762dc52024901fd3d16cd71a9c6845924fad17598e6f0" dmcf-pid="pOgeYWRfTO" dmcf-ptype="general">‘시키지 않은 일을 하는 AI’뿐 아니라 ‘시킨 일을 너무 열심히 하다 선을 넘는 AI’ 역시 미스얼라인먼트가 될 수 있다.</p> <p contents-hash="42a9b096ddb67e939617190ad728ce47bd088fca9f6c0ca80dd962996d9e5c84" dmcf-pid="UIadGYe4Ts" dmcf-ptype="general">문제는 왜 이런 행동이 나왔는지 아직 명확하지 않다는 점이다.</p> <p contents-hash="c026051c8b1d746931fbb99e17c67aa5d80facacbcdad4052d7a763b0e5d7136" dmcf-pid="uCNJHGd8Sm" dmcf-ptype="general">오픈AI는 가능성 가운데 하나로 선의의 과잉 지속성(benign overpersistence)을 제시했다. 에이전트가 업무를 완료해야 한다는 목표에 지나치게 집중하다 보니 업무 수행 과정에서 ‘모니터링 장치’의 의미를 고려하지 않았을 수 있다는 것이다.</p> <p contents-hash="545f8e6dd2292c51bfb27bd6e2572438ccbb6dfdd547106c13b5dc3fdf12d103" dmcf-pid="7hjiXHJ6Tr" dmcf-ptype="general">AI 얼라이먼트(정렬)의 목표는 단순히 ‘착한 AI’를 만드는 데 있지 않다. 사람이 원하는 결과와 AI가 실제로 추구하는 목표 사이 간극을 최대한 좁히고, 그 간극이 발생하더라도 현실의 행동으로 이어지지 않도록 통제하는 문제에 가깝다.</p> <p contents-hash="55c75dc27e53591ebede88b38ee7ede9c25239e5059678518b284d14d795f235" dmcf-pid="zlAnZXiPvw" dmcf-ptype="general">AI가 답변을 넘어 직접 행동하는 에이전트로 진화하면서 미스얼라인먼트는 더 이상 먼 미래의 철학적 논쟁이 아니게 됐다. 오픈AI가 공개한 이번 사례가 보여주는 것도 AI가 인간에게 반항하기 시작했다는 신호라기보다 사람이 당연하다고 생각하는 안전선과 AI가 해석하는 업무 목표가 생각보다 쉽게 어긋날 수 있다는 현실적인 문제가 된 셈이다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 가을비도 삼켜버린 5000명의 열기…다시 달린 이봉주, 함께 뛴 공직사회 10-24 다음 “이건 충격, 원작보다 짝퉁이 먼저 나온다”…‘AI 복제 게임’ 업계 발칵, 이 정도일 줄은 10-24 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
