물리학자들, 고교수학으로 AI가 ‘악마’로 돌변하는 순간 찾았다 [사이언스 브런치] 작성일 10-09 73 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5Zsdyjztl1"> <figure class="figure_frm origin_fig" contents-hash="8792dc4e2e703e9cfbf498f1c7862954670bca118b376db5692921b590a042fa" dmcf-pid="15OJWAqFT5" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/09/seoul/20261009050247547isdc.png" data-org-width="660" dmcf-mid="H46FiBOcW3" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/09/seoul/20261009050247547isdc.png" width="658"></p> </figure> <p contents-hash="3cf4f10e9e1b5ebf31a34ae6de4818ce25062be48350add93080ec7de8fa658e" dmcf-pid="t1IiYcB3WZ" dmcf-ptype="general">사람들은 누구나 ‘주머니 속 PC’라고 하는 스마트폰을 갖고 다닌다. 그 스마트폰 속에 소형 인공지능(AI) 챗봇이 포함돼 있다. 문제는 챗봇들에는 자해, 재정적 손실, 극단주의적 관념을 조장할 수 있는 정보와 답변을 내놓지 않도록 하는 안전 감독 장치가 매우 취약하다. 좋은 답변만 하다가 갑자기 나쁜 답변을 내놓는 순간이 있는데 AI가 그렇게 돌변하는 순간을 정확하게 파악하기란 쉽지 않다.</p> <p contents-hash="4021086f98384721e83183cb22b67d41623ce004a2856d192fb6e678cfcfe24c" dmcf-pid="FtCnGkb0CX" dmcf-ptype="general">그런데 미국 조지 워싱턴대 물리학과 동적 온라인 네트워크 실험실 연구팀은 AI 모델이 적절한 응답을 하다가 잠재적으로 위험한 응답으로 전환되는 ‘티핑포인트’를 예측할 수 있는 수학 공식을 개발했다. 이 연구 결과는 과학 저널 ‘패턴스’ 10월 9일 자에 실렸다.</p> <figure class="figure_frm origin_fig" contents-hash="51307aef59c636004c99b4e0f3bf701d372402dbade49f54505117738385036e" dmcf-pid="3FhLHEKplH" dmcf-ptype="figure"> <p class="link_figure"><img alt="물리학자들이 중고등학교에서 배우는 수학 개념을 이용해 AI가 나쁜 답변을 내놓기 시작하는 순간을 예측하는 공식을 만들어 냈다. AI가 사악한 악마의 계곡으로 떨어지는 순간을 묘사한 인공지능 생성 이미지 제미나이 생성 이미지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/09/seoul/20261009050248824tmwr.png" data-org-width="660" dmcf-mid="ZjP3nbIkvt" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/09/seoul/20261009050248824tmwr.png" width="658"></p> <figcaption class="txt_caption default_figure"> 물리학자들이 중고등학교에서 배우는 수학 개념을 이용해 AI가 나쁜 답변을 내놓기 시작하는 순간을 예측하는 공식을 만들어 냈다. AI가 사악한 악마의 계곡으로 떨어지는 순간을 묘사한 인공지능 생성 이미지 제미나이 생성 이미지 </figcaption> </figure> <p contents-hash="54349fab4dadf18a32afc6a44a9bff0c59c57e4aaa1baff007468c6358a34a2e" dmcf-pid="03loXD9UlG" dmcf-ptype="general">오프라인 AI(온디바이스 AI)는 환자 데이터를 클라우드로 보낼 수 없는 의사, 비밀유지계약을 지켜야 하는 변호사, 통신 신호가 닿지 않는 군인 등이 선호한다. 문제는 사실관계가 맞아 거짓은 아니더라도 바람직하지 않은 ‘나쁜 답’은 이런 사람들에게 큰 문제를 일으킬 수 있게 한다. 더군다나 기업들이 마련한 자사 AI 알고리즘에 적용하는 안전 도구는 대부분 클라우드에 의존하거나 기기가 다시 온라인 상태가 돼 이미 피해가 발생한 뒤에야 AI의 오동작을 포착한다.</p> <p contents-hash="09f3d8b4e516f5979c3f792d97fb333fca04306c019bb93a633dedba28b9db4f" dmcf-pid="p0SgZw2uWY" dmcf-ptype="general">연구팀은 피해가 발생하기 전에 이런 실패를 예측할 수 있는 방법을 찾아 나섰다. 물리학자인 연구자들은 원자 하나를 이해함으로써 복잡한 물질이 어떻게 거동하는지 설명한다는 점을 떠올렸다. 유효 어텐션 헤드 하나를 이해하면 시스템 전체가 어떻게 변하는지 파악할 수 있다는 것이다.</p> <p contents-hash="cb65fcecee83b07c27154e7ef95da3bc7d9e4fab6f2ce1dfe9995d310d49ec28" dmcf-pid="Upva5rV7SW" dmcf-ptype="general">AI가 내놓을 수 있는 답변을 ‘산맥 속 여러 골짜기’라고 가정할 때 어떤 골짜기에는 개인이나 사회에 바람직한 답변이 있고 또 다른 골짜기에는 실질적 해를 끼칠 수 있는 답변이 있다. AI가 질문을 받게 되면 이런 여러 답변들이 서로 경쟁하면서 답하게 된다. 연구팀이 주목한 것은 AI가 언제 안전한 골짜기에서 더 위험한 골짜기로 넘어가는지였다. 연구팀에 따르면 AI는 흠잡을 데 없는 답변을 몇 차례 내놓아 사용자가 AI를 믿도록 안심시킨 다음 바람직한 답변을 내놓는 패턴을 보인다.</p> <p contents-hash="b26e298905395a8ba1451d316390b7c213c072514632960cbd13f01b47eb9c54" dmcf-pid="uAQ0LKCEhy" dmcf-ptype="general">연구팀은 고등학교 수학에서 배우는 벡터와 좌표, 내적, 지수함수, 부등식, 분수를 이용해 AI의 돌변 시점 예측 공식을 만들었다. 연구팀은 AI의 모든 말을 벡터로 바꾼 뒤 대화를 중립 질문, 좋은 답, 나쁜 답 화살표로 단순화했다. 지금까지 대화를 하나로 합친 나침반 바늘이 좋은 답과 나쁜 답 중 어느 쪽을 더 가리키는지 고교 수학의 벡터 내적으로 비교해 나쁜 답이 나오기 전 좋은 답이 몇 번 이어질지 계산하는 분수 공식을 얻었다.</p> <p contents-hash="fd32453454a32d69de1da409fcfb6e1a41c8a232a33970a5fda91d0674f96dca" dmcf-pid="7cxpo9hDlT" dmcf-ptype="general">연구팀의 공식을 통장에 빗대면 질문과 앞선 대화가 좋은 답 쪽에 쌓아 준 ‘여유분’이 분자, 좋은 답이 하나 나올 때마다 그 여유분이 깎이는 양이 분모다. 여유분이 바닥나는 순간 AI는 나쁜 답으로 돌변한다. 좋은 답 자체가 나쁜 답을 끌어당기는 구조여서 무난한 답이 이어지다가도 갑자기 위험한 답이 나올 수 있다는 것이다.</p> <p contents-hash="6330b519f173d3470cd545e035c8a15f8af093a942fdcccba1c639c2f987b409" dmcf-pid="zkMUg2lwTv" dmcf-ptype="general">연구팀은 이 공식을 GPT-2, 피티아, OPT 계열의 공개 모델 7종으로 검증했다. 그 결과 19건 중 18건에서 즉시 돌변과 지연 돌변을 구분해 냈다. 백신 거부, 타인을 해치는 일, 자해 등에 관한 질문을 순서만 바꿔 물어보면 특정 순서에서는 모든 질문에 나쁜 답이, 다른 순서에서는 모든 질문에 무난한 답이 나왔다. 연구팀에 따르면 미국의 비영리단체 디지털혐오대응센터(CCDH)가 챗GPT 같은 상용 챗봇을 시험한 보고서에서도 공식과 부합하는 행동 패턴이 나왔다.</p> <p contents-hash="653f918397fa12b0621547853a192a95c14e291bcc7474547d5f10a4ba139b8e" dmcf-pid="qERuaVSrCS" dmcf-ptype="general">닐 존슨 조지워싱턴대 교수는 “이번 연구는 두 가지 재미있는 부분이 있다”며 “우선 수십억 개의 움직이는 부품을 가진 기계가 펜과 종이, 고등학교에서 배우는 기초 수학만으로 도출한 공식을 따른다는 점이고 또 하나는 대화 순서가 대화 내용만큼이나 중요하다는 것”이라고 말했다. 존슨 교수는 “몇 번의 간단한 벡터 계산만으로 위험 신호를 감지할 수 있는 만큼 앞으로 스마트폰에 ‘경고등’을 내장하는 일도 가능할 것”이라고 덧붙였다.</p> <p contents-hash="c82f42e431cc2cc0d7fc766187fc8095fb028ea70523315d7c456733a558c4d8" dmcf-pid="BDe7Nfvmll" dmcf-ptype="general">유용하 과학전문기자</p> </section> </div> <p class="" data-translation="true">Copyright © 서울신문. 무단전재, 재배포, AI 학습 및 활용 금지.</p> 관련자료 이전 “AI라 못막았다? 금융사 방치한 허점 노린것”…연쇄해킹 보고서 보니 10-09 다음 'DNA 타자기'로 생명의 탄생 추적…쥐 배아 세포 가계도 완성 10-09 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
