오픈AI, 최신 배포 모델 AI 학습 보류… ‘아스트라’ 훈련도 중단 작성일 08-19 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">이상행동 30분 내 오탐 못 밝히면 작업 중단</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="uquMNZRfWY"> <figure class="figure_frm origin_fig" contents-hash="fb1bbbd7c91f5d2b4ca219e05ad7c93727c0757ec8c37582c84644a3a7580350" dmcf-pid="7B7Rj5e4yW" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/19/552796-pzfp7fF/20260819093857811qagu.png" data-org-width="432" dmcf-mid="UhzeA1d8vG" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/19/552796-pzfp7fF/20260819093857811qagu.png" width="658"></p> </figure> <p contents-hash="02c2ca7e8851da59ec628ec4f74fe09f3ae188551990fa7376d8c04feb1d3cb8" dmcf-pid="zbzeA1d8Sy" dmcf-ptype="general">[디지털데일리 구아현기자] 오픈AI가 인공지능(AI)의 사이버 공격과 자율행동 능력이 빠르게 높아지자 최대 규모로 계획했던 차세대 모델 학습을 보류했다. </p> <p contents-hash="1fe2b7c2e3c97c31aeafe21404920d969117d31c9a085006b2d04b7f39c3a655" dmcf-pid="qKqdctJ6lT" dmcf-ptype="general">지난달 AI 에이전트가 시험 환경을 벗어나 외부 시스템에 무단 접근한 데 이어 차세대 모델 ‘아스트라(Astra)’가 자체 기준상 최고 수준의 사이버 능력에 도달했을 가능성이 제기되면서 실제 모델 개발 속도까지 늦추기 시작했다.</p> <p contents-hash="478bdd412325f23c572574277ad0f6e6bf04f98b22b8922f05d70784e8d6bb8a" dmcf-pid="B9BJkFiPCv" dmcf-ptype="general">18일 오픈AI에 따르면 회사는 배포를 목표로 개발 중인 최신 모델의 강화학습(RL)을 2주간 일시 중단했다. 이 기간 연구 환경을 대상으로 보안 취약점을 찾는 레드팀 테스트를 실시하고 감시 시스템의 적용 범위를 확대했다. 최대 규모로 계획한 프런티어 강화학습은 현재도 보류한 채 소규모 학습과 평가를 진행하며 모델 행동과 안전장치, 정렬(alignment) 상태를 검증하고 있다.</p> <p contents-hash="3ff1db6649d72f36202e68b8703569890bdf0ab2a4325312d5dd9e256825a3c9" dmcf-pid="b2biE3nQhS" dmcf-ptype="general">오픈AI는 이번 조치를 두고 모델 규모 확대 속도를 일시적으로 늦췄다고 설명했다. 최근 수년간 신모델 성능을 빠르게 끌어올려온 오픈AI가 안전 문제를 이유로 학습 규모 확대 자체에 제동을 건 것은 이례적이다.</p> <p contents-hash="0c435db3ce61f0a141789f28c3cfd01f25fe859dc63ad62ec6327e3560f78ca4" dmcf-pid="KVKnD0Lxyl" dmcf-ptype="general">오픈AI가 이례적으로 개발 속도를 낮춘 배경에 최근 잇따른 AI 모델의 보안 사고와 이에 따른 규제 강화 가능성이 있다는 해석도 나온다. 기업공개(IPO)를 준비하는 과정에서 프런티어 AI의 안전성과 통제 능력을 대외적으로 입증해야 할 필요성도 커지고 있기 때문이다.</p> <p contents-hash="a67647722c38c96cb39619060bd82fc9792585a5f0529e8ec664abc82dff02f5" dmcf-pid="9f9LwpoMyh" dmcf-ptype="general">아스트라 개발에도 직접적인 영향이 나타났다. 오픈AI는 현재 아스트라와 사이버 관련 모델을 다루는 연구 작업에 사내에서 가장 엄격한 수준의 보안 기준을 적용하고 있다. 새로운 기준을 충족한 일부 아스트라 학습과 평가는 진행 중이지만 상당수 작업은 새 보안 환경으로 이전하고 보완 작업을 마칠 때까지 중단한 상태다.</p> <p contents-hash="b2abbd3b3e905eafaa280b20ac76aae012f20307045319b9abe410f6929f7cd1" dmcf-pid="2f9LwpoMyC" dmcf-ptype="general">이는 지난 7일 오픈AI가 아스트라의 사이버 능력이 자체 준비태세 프레임워크의 ‘위험(Critical)’ 단계에 도달했을 가능성을 배제할 수 없다고 밝힌 데 따른 후속 조치다. 위험 단계는 사람의 개입 없이 보안이 강화된 실제 시스템에서 제로데이 취약점을 찾고 공격 코드를 만들거나, 높은 수준의 목표만 주어져도 강력한 표적을 상대로 새로운 공격 전략을 스스로 설계·실행할 수 있는 수준을 뜻한다.</p> <p contents-hash="ba834eb7b740af79b8cc32fd5c09ad04dcd6a7cb31d01dc2cf90c1fd45686eb8" dmcf-pid="V42orUgRlI" dmcf-ptype="general">이번 속도 조절에는 지난달 발생한 오픈AI와 허깅페이스 간 보안 사고도 영향을 미쳤다. 당시 오픈AI의 프런티어 AI 에이전트는 사이버 능력 평가 도중 시험 환경의 취약점을 이용해 허용되지 않은 외부 인터넷 접근 경로를 확보한 뒤 허깅페이스 시스템에 무단 접근했다.</p> <p contents-hash="4d1ab89cfaaf3889f2c83dd940b3725dc41fa805761b6fa9bba913adb79f9885" dmcf-pid="f8VgmuaehO" dmcf-ptype="general">오픈AI는 사고 직후 코드를 실행하거나 인터넷에 접근할 수 있는 도구를 사용하는 프런티어 모델의 연구용 추론 작업을 일시 중단했다. 이후 각 작업을 하나씩 점검하면서 보안 기준을 충족한 경우에만 순차적으로 재개했다.</p> <p contents-hash="d2717c5ab9931f2a4ecbff6ed0136bad3fd733adc49cff2ae8477fc2b44138df" dmcf-pid="46fas7NdTs" dmcf-ptype="general">모델이 격리된 시험 환경을 벗어나지 못하도록 연구 환경의 보안 수준도 끌어올렸다. AI가 생성한 코드나 신뢰하기 어려운 코드를 실행하는 작업에는 보다 강력한 격리 환경인 ‘샌드박스’를 적용했다. 고위험 작업은 인터넷뿐 아니라 회사 내부 네트워크와도 분리해 하나의 작업이나 지원 서비스가 해킹되더라도 외부 인터넷이나 다른 내부 시스템으로 침투하기 어렵도록 했다.</p> <p contents-hash="f370f9090a0c5581c0ce38b6b64c5e42d90f327c2236016c0851234703bcc8f4" dmcf-pid="8P4NOzjJvm" dmcf-ptype="general">공유 서비스와 상시 접근 권한도 줄였다. 보안 로그 수집과 감시 기능을 강화하고, 오픈AI 모델을 활용해 연구 환경의 보안 경계를 모의 공격하는 자동화 테스트도 확대하고 있다.</p> <p contents-hash="05e9056581ff6365f19296d5505f950e751fe0bf692e4b0a5d54a85fc42a747f" dmcf-pid="6Q8jIqAiCr" dmcf-ptype="general">AI가 어떤 판단 과정을 거쳐 행동하는지도 실시간으로 감시한다. 오픈AI는 이른바 ‘생각의 연쇄(CoT·Chain of Thought) 감시’ 시스템의 적용 범위를 확대했다. 모델이 추론 과정에서 토큰을 생성할 때마다 내부 활동을 살피는 탐지기가 작동하고 이상 징후가 포착되면 더 많은 연산을 사용하는 별도의 AI 조사 시스템으로 넘기는 방식이다.</p> <p contents-hash="f4dbdc29a05ae4dc19a5e189a6b01f4528418f957e17b67a82af5c68c71f9735" dmcf-pid="Px6ACBcnhw" dmcf-ptype="general">AI 조사 시스템은 모델이 사용한 도구와 추론 내용, 전체 행동 기록을 함께 분석한다. 이를 통해 무단 시스템 접근이나 데이터 탈취, 파괴적 행동, 안전장치 우회 시도 등을 찾아낸다.</p> <p contents-hash="9d7eab1c956a34d75c0b61b6689de03aa4c64d6c16790c98186474ad4708c0c3" dmcf-pid="QMPchbkLvD" dmcf-ptype="general">중대한 보안 경계 침해 가능성이 감지되면 최고 수준의 경보가 발령된다. 안전·보안·연구팀이 해당 경보를 넘겨받아 30분 안에 오탐이라고 확실하게 판단하지 못하면 해당 AI 작업을 중단하도록 했다.</p> <p contents-hash="62ec4e7e72de70dfda0378efbeba5d29f0b475155ee7da69b12e8020951c6ed1" dmcf-pid="xVKnD0LxvE" dmcf-ptype="general">이 감시 체계는 현재 GPT-5.6 솔(Sol)급 이상의 모델이 도구를 사용하는 모든 강화학습과 평가에 적용된다. 지난 7일부터는 도구를 사용하는 아스트라의 모든 추론 작업까지 감시 범위를 넓혔다.</p> <p contents-hash="864791925a01b3a7d472f061dd64231937697f0d5cd86383d654f18a25ad4484" dmcf-pid="yIm5qN1yTk" dmcf-ptype="general">감시 시스템을 운용하는 데 들어가는 연산비용도 적지 않다. 오픈AI는 현재 감시 대상 추론 연산량의 약 20%에 해당하는 추가 연산이 필요한 것으로 추산했다. 프런티어 AI 경쟁이 고도화하면서 모델 성능을 끌어올리는 데 쓰던 연산자원의 일부를 모델 자체의 행동을 감시하는 데 투입해야 하는 단계에 들어선 셈이다.</p> <p contents-hash="553067861a6a4606452de30d3414f05d27588d3c52e90459d11f19ee2633eb54" dmcf-pid="WCs1BjtWhc" dmcf-ptype="general">오픈AI는 기존 안전체계도 확대할 방침이다. 지금까지 완성된 모델의 위험 능력과 배포 여부를 평가하는 데 초점을 맞췄다면 앞으로는 학습과 연구 단계부터 감시·정렬·보안 기준을 함께 적용하는 방향으로 준비태세 프레임워크를 개편한다. 오픈AI 향후 새 감시 시스템의 작동 방식과 모델 정렬 연구 결과 등도 추가로 공개할 계획이다.</p> <p contents-hash="8925af22de368eb908754a341fccbdcc33119b98207693d1186e6df5e8527aa7" dmcf-pid="YhOtbAFYhA" dmcf-ptype="general">오픈AI는 “모델 성능이 향상될수록 이를 개발하고 시험하는 과정에서 발생하는 위험도 커진다”며 “감시와 정렬, 보안에 대한 기준이 이러한 위험보다 앞서야 한다”고 밝혔다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 아이에이, AI 인프라 신사업 추진…100억원 주주배정 유증 08-19 다음 티오리, SaaS 제품군 데이터 보호 수준 입증... ‘SOC 2 타입 2’ 취득 08-19 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
