“AI 속마음을 읽을 수 있다?”...실리콘밸리 흥분시킨 문제의 에세이 작성일 10-19 44 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">‘신경망은 이미 깨끗하다’ 에세이<br>“AI 내부 신경망 구조 파악 가능”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="3GJcSvQ9Xq"> <figure class="figure_frm origin_fig" contents-hash="0dbc23835d4e9eaa73d200262595e449e4fc1911eeb7654fd265348ca95e8805" dmcf-pid="0NUVin1y5z" dmcf-ptype="figure"> <p class="link_figure"><img alt="/챗GPT 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/19/chosun/20261019060142965nykm.jpg" data-org-width="1536" dmcf-mid="FGNsHXiPZB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/19/chosun/20261019060142965nykm.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> /챗GPT 생성 </figcaption> </figure> <p contents-hash="564ef6d29a0a36213ef3e3608345c4278cc55736e363fb751c844b690b7ba11a" dmcf-pid="pjufnLtWY7" dmcf-ptype="general">“(챗GPT의 뿌리인) ‘어텐션(Attention)’급 (에세이)이다.” VS “흥미롭지만 큰 그림을 바꾸진 못한다.”</p> <p contents-hash="66c3c56ebe050e709abeb94dc62eaed0fd2624e0788dc8a49f61b0fa8db09c80" dmcf-pid="UA74LoFYZu" dmcf-ptype="general">지난 주말 미국 실리콘밸리가 에세이 한 편을 두고 둘로 갈라졌다. 인공지능(AI) 스타트업 ‘굿파이어’의 닉 카마라타 연구원이 자사 사이트에 올린 에세이를 통해 ‘AI가 질문에 답할 때 왜, 어떻게 그런 답을 내고 생각하는지 인간이 AI의 속마음을 알 수 없다’는 이른바 ‘블랙박스’ 문제가 생각보다 쉽게 풀릴 수 있다고 주장했기 때문이다.</p> <p contents-hash="31ae472ac30e45ecac52e88abb8cd5ad7d84709f3bcff0547aa853f89253e26e" dmcf-pid="ucz8og3GYU" dmcf-ptype="general"><strong>◇“뉴런 90% 역할 파악” AI 블랙박스 풀리나</strong></p> <p contents-hash="e0b11b3d42ab8e55bf8d99f518bb76212622f1a4a4a97457fe67cb22e115a6bc" dmcf-pid="7kq6ga0Htp" dmcf-ptype="general">닉 카마라타 연구원은 지난 15일(현지 시각) 굿파이어 홈페이지에 ‘신경망은 이미 깨끗하다(Neural Networks Are Already Clean)’라는 기술 에세이를 올렸다. 뉴런들의 작동에 사람이 이해할 만한 규칙성과 질서가 있다는 내용이다.</p> <p contents-hash="fbca9a0c852da1a01ff933d263b2d0b5f3934f683b692828db27c5ba92990c71" dmcf-pid="zEBPaNpX10" dmcf-ptype="general">챗GPT 같은 대형언어모델(LLM) AI는 뇌의 신경망에서 아이디어를 얻은 구조를 갖고 있다. 뇌의 신경세포인 ‘뉴런’을 본뜬 수많은 노드(node·인공 뉴런)가 서로 연결돼 정보를 처리한다. 그동안 이 AI의 뉴런 하나하나가 무슨 일을 하는지 거의 알 수 없었다. 카마라타가 2023년 오픈AI에서 일하며 분석해보니 역할을 설명할 수 있는 뉴런은 채 2%가 되지 않았다. 하지만 이번에 중국 알리바바의 AI 모델인 큐원3를 분석한 결과 뉴런 약 90%의 역할을 이해할 수 있다는 것이다.</p> <p contents-hash="b3718ec60bac5a63b57c26d7863a829d39868cbc87e8c7bae6166d40bddcaeb1" dmcf-pid="qDbQNjUZ13" dmcf-ptype="general">카마라타는 그동안 테크 업계가 고려했던 ‘신경망 중첩’ 이론이 적어도 특정 사례들에서는 틀렸다고 주장했다. 중첩은 신경망이 가진 뉴런이나 저장 공간보다 훨씬 많은 개념·특징을 한꺼번에 겹쳐 담는 현상이다. 다시 말해 AI가 ‘한 칸에 한 개념’이 아니라, 한 칸에 여러 개념을 압축해서 섞어 저장하는 방식이다. 제한된 뉴런으로 더 많은 개념을 표현할 수 있어 AI가 효율적으로 학습할 수 있지만 개념들이 서로 섞여 간섭이 생기고 모델이 왜 그런 답을 냈는지 해석하기 어려워진다. AI가 블랙박스처럼 보이는 주요 이유 중 하나다.</p> <p contents-hash="9bb6ba6eeb266d05168074343900542f1cf7f49f6f540ac5ecdc2293c1016328" dmcf-pid="BwKxjAu55F" dmcf-ptype="general">하지만 카마라타는 그동안 뉴런을 관찰하는 방식에 문제가 있었고, 새로운 학습과 분석 방법으로 이를 해결할 수 있다고 했다.</p> <p contents-hash="34beea9a1bf37c12a442389e66a69463beb89feede79a192e957379c6d23122b" dmcf-pid="bI4JDwb0Ht" dmcf-ptype="general">대표적인 예가 ‘고양이와 자동차 뉴런’이다. 뉴런은 고양이 얼굴과 자동차 앞모습에 동시에 반응했다. 하지만 이번에 다시 보니, 이 뉴런은 뒤죽박죽으로 중첩돼 반응하는 것이 아니라 고양이와 자동차의 공통점인 ‘V자로 뾰족한 모양’에 반응하고 있었다. 그는 이 뉴런이 V자 형태의 불꽃과 여우 얼굴에도 반응한다는 점을 근거로 들었다. 뉴런이 엉망이었던 게 아니라 사람이 제대로 읽지 못했던 것이다.</p> <p contents-hash="ce3d6ae0a40b64376ed788947b2eab5fe87144e088662fb0a96d926cf52de7d7" dmcf-pid="KC8iwrKp51" dmcf-ptype="general"><strong>◇“AI 안전의 돌파구”…오픈AI 인사들 환호</strong></p> <p contents-hash="b9ecfe68e5e700eef7013625ac1c32807fed4407ce3063ec83e5f5fd745ac8e4" dmcf-pid="9h6nrm9UY5" dmcf-ptype="general">AI의 신경망 작동 과정을 알아 AI의 속을 읽을 수 있으면, AI가 위험한 행동을 할 때 원인을 찾아 고칠 수 있다. AI를 사람의 지시에 어긋나지 않고 목표, 가치, 규칙에 맞고 안전하게 작동하도록 하는 ‘AI 정렬’이 가능할 수 있다는 것이다. 이 때문에 주말 동안 실리콘밸리에서는 “AI 정렬의 돌파구가 마련됐다”는 소문이 돌며 카마라타의 에세이가 주목받았다. 에세이를 소개한 소셜미디어 X 게시물은 조회 수 410만회를 넘어섰다.</p> <p contents-hash="9a1da721ca9e58d8a4e61d0b2bdf48b6bc4e8cfca4141ca4bf2c96c59a437411" dmcf-pid="2lPLms2uGZ" dmcf-ptype="general">특히 카마라타가 한때 몸담았던 오픈AI 인사들은 환호했다. 샘 올트먼 오픈AI 최고경영자(CEO)는 자신의 X에 “닉에게서 이런 소식을 듣게 돼 정말 기쁘다”고 했고, 딘 볼 오픈AI 전략적미래팀장은 “오늘은 딥러닝 역사상 가장 중요한 날 중 하나일 수도 있고 어쩌면 그 이상의 의미를 가질지 모른다”고 했다.</p> <p contents-hash="246f843b9bbcfcb3bdc28198729404096cbc5f698303f1a7f286097d168a4a98" dmcf-pid="VSQosOV7XX" dmcf-ptype="general">애덤 마즈무다르 오픈AI 연구원은 “이건 올해 가장 중요한 연구 성과”라며 “2017년 트랜스포머 기술을 탄생시킨 역사적인 논문 ‘어텐션 이즈 올 유 니드(Attention Is All You Need)’에 필적할 정도로 중요한 발견”이라고 했다. ‘어텐션 이즈 올 유 니드’는 챗GPT 등 현재 생성형 AI의 뼈대인 트랜스포머 구조를 처음 제시한 역사적 논문이다. 어텐션은 문장 속 단어들의 관계를 따져 필요한 정보에 집중하는 방식을, 트랜스포머는 이를 핵심 원리로 삼은 AI 설계를 뜻한다.</p> <p contents-hash="18cb082f725504421c6ab20e99f99d40ebe3b7ce7239cdab64342296f599d134" dmcf-pid="fvxgOIfzZH" dmcf-ptype="general">마즈무다르 연구원은 또 “이는 우리가 ‘AI 정렬이라는 문제가 애초에 해결이 가능한가’라고 의심하던 단계에서 ‘어쩌면 내년 안에 AI 정렬 문제를 해결할 수도 있겠다’라고 기대하는 단계로 나아가게 만들었다”고 했다.</p> <p contents-hash="e2719736669a00a1761d0fde695062874cbd623c2f94c406fc66ab4772816043" dmcf-pid="4TMaIC4qXG" dmcf-ptype="general"><strong>◇“검증 더 필요…전체 이해는 별개” 신중론도</strong></p> <p contents-hash="fe5f06977fe604557c05a12a91d9a371914e355612f551c88384e23864d94b9e" dmcf-pid="8yRNCh8BHY" dmcf-ptype="general">반면 신중론도 만만치 않았다. 카마라타의 연구는 에세이 형태이고 아직 정식 기술 논문을 공개하지 않은 상태다. 구글 딥마인드의 닐 난다 기계적 해석 가능성 팀장은 “이번 연구는 흥미롭지만 AI 해석 가능성 연구의 전체적인 전망을 크게 바꿀 만한 발견이라고는 생각하지 않는다”며 “나는 여전히 중첩 현상이 실제로 존재한다고 생각한다”고 했다.</p> <p contents-hash="bf896f389f6e71b7fa15f8c37de465562e1968ee7f8dafffca4bb2f5b6d78b5f" dmcf-pid="6vxgOIfz1W" dmcf-ptype="general">전(前) 오픈AI 연구원인 제이컵 힐턴은 “AI가 커질수록 속을 이해하기는 더 어려워지고 있다”며 “프런티어 모델의 0.01%만 이해해도 매우 유용할 수 있지만 그것이 ‘모든 것을 이해해 정렬을 푸는 것’과는 전혀 다른 이야기”라고 했다. 부품 하나의 기능을 알아내는 것과, 수많은 부품이 함께 작동해 어떤 결과를 내는지 설명하는 것 사이에는 큰 간극이 있다는 얘기다.</p> <p contents-hash="cff230d1cfe808aa4883b8a42aef0d2c35f0efc13015b986031c3c6a44784cc8" dmcf-pid="PTMaIC4qGy" dmcf-ptype="general">논쟁이 과열되자 카마라타가 직접 진화에 나섰다. 그는 “LLM은 유망하지만 채워야 할 부분이 아주 많다”며 “흥분이 지나치면 문제가 될 수 있고, 희망이 부족했던 AI 안전 분야에서는 적당한 낙관도 과열로 이어질 수 있다”고 했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 조선일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 바이브 코딩에 ‘딸깍’ 역공학까지…SW 산업 뒤흔드는 AI 10-19 다음 [비즈톡톡] 국가대표 AI 사업 흔들리는데 선정되면 기업가치 상승 호재? 10-19 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
