딥마인드 "인류 상위 1% 수준 AI 나온다…통제력 상실 대비 필요" 작성일 04-07 135 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AGI 위협 가능성 4가지 분류·제시…"AI 자율판단이 더 치명적"<br>"위험 막으려면 AI 내부 위협자 간주·다층 방어체계 구축해야"</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GZ2gqMhLXp"> <figure class="figure_frm origin_fig" contents-hash="994b7a1f6ad25a3cdb6f3e579d4ad61cc3844f013488bfa6e9723275c87161aa" dmcf-pid="H5VaBRloX0" dmcf-ptype="figure"> <p class="link_figure"><img alt="인간 상위 1% 수준 AGI가 일으킬 수 있는 4가지 위협(구글 딥마인드 기술적 AGI 안전과 보안을 위한 접근법 보고서 갈무리)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064008585mziv.jpg" data-org-width="915" dmcf-mid="yaYQ5Kc6Y7" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064008585mziv.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 인간 상위 1% 수준 AGI가 일으킬 수 있는 4가지 위협(구글 딥마인드 기술적 AGI 안전과 보안을 위한 접근법 보고서 갈무리) </figcaption> </figure> <p contents-hash="f956a2079ac186adc0f37a02cf8868aada89e86fbbffb9843bc350b4e0ac6625" dmcf-pid="X1fNbeSg13" dmcf-ptype="general">(서울=뉴스1) 김민석 기자 = 구글 딥마인드가 향후 5~10년 내 인류에게 실존적 위협을 가할 수 있는 '인류 상위 1% 수준'의 AGI(Artificial General Intelligence·일반인공지능)가 등장할 것이라고 경고했다.</p> <p contents-hash="e060a9f1951b8ea60c5c252c29634a935b193ea40b0f36f17260e64807ac2a63" dmcf-pid="Z1fNbeSgtF" dmcf-ptype="general">7일 IT 업계에 따르면 딥마인드는 최근 '기술적 AGI 안전과 보안을 위한 접근법'이라는 제목의 보고서(145페이지 분량)를 통해 AI 딥러닝 기법(전문가 혼합·사고의 사슬 등) 발전이 현재 추세대로 계속된다면 2030년 전후로 '숙련된 성인 상위 1% 수준 능력을 갖춘 AGI'가 등장할 것으로 전망했다.</p> <p contents-hash="7b27accfca0decead59e7ce6830a135a43ae56f5528a2f0a984f0e7031fdab9b" dmcf-pid="5t4jKdvaYt" dmcf-ptype="general">보고서는 상위 1% AGI를 '메타인지 능력을 갖추고 인간보다 뛰어난 문제 해결과 개념 학습 역량을 기반으로 광범위한 비물리적 작업을 수행할 수 있는 AI'로 정의했다.</p> <p contents-hash="30ff2683668b73743428d6230c1f802713c2aac1704f3a1c975cc37ff39b055b" dmcf-pid="1F8A9JTNG1" dmcf-ptype="general">이와 관련 데미스 하사비스 딥마인드 CEO는 최근 영국 런던에서 관련 질의에 "앞으로 5∼10년 내 많은 AI 기능이 전면에 등장하고 AGI 단계로 나아갈 것"이라고 말했다.</p> <figure class="figure_frm origin_fig" contents-hash="0cef85f715f880630951ffda5387f34c1a8c7feb2711ac780f684ce9ed2fd53c" dmcf-pid="t36c2iyjt5" dmcf-ptype="figure"> <p class="link_figure"><img alt="인간 상위 1% 수준 AGI가 일으킬 수 있는 자율적 비정렬 행동 개념도(구글 딥마인드 기술적 AGI 안전과 보안을 위한 접근법 보고서 갈무리)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064010240euyi.jpg" data-org-width="872" dmcf-mid="WseyLs7vZu" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064010240euyi.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 인간 상위 1% 수준 AGI가 일으킬 수 있는 자율적 비정렬 행동 개념도(구글 딥마인드 기술적 AGI 안전과 보안을 위한 접근법 보고서 갈무리) </figcaption> </figure> <p contents-hash="b671664ffc5d3eac74e206c2019d7596b7804ed3afc9a4f0cd25468d6e285d84" dmcf-pid="F0PkVnWAYZ" dmcf-ptype="general">딥마인드는 AGI가 일으킬 수 있는 위협을 △악의적 이용자의 고의적 오용(Misuse) △AI의 자율적 비정렬 행동(Misalignment) △비고의적 판단 오류(Mistakes) △사회·경제적 구조 변화에 따른 시스템 리스크(Structural Risks) 등 4가지로 분류했다.</p> <p contents-hash="884cb1e9e526a045129368a32e0780271532f0d4807960bb573ca38d36762d75" dmcf-pid="3pQEfLYcYX" dmcf-ptype="general">보고서는 이중 인간이 AI를 해킹·바이오테러 등 실질적 해악 수단으로 사용하는 고의적 오용과 AI 스스로 판단해 해로운 방식으로 행동하는 자율적 비정렬 행동을 주요 위험 요소로 진단했다.</p> <p contents-hash="4e5b43b060b5238e3da252ec7aff97e622574403c3a1b890161436379709294c" dmcf-pid="0UxD4oGktH" dmcf-ptype="general">이어 AGI 스스로 목표를 설정하고 인간의 통제를 벗어나려 할 가능성을 언급하며 비정렬 행동이 사회·경제적으로 더 치명적 결과를 일으킬 수 있다고 우려했다.</p> <p contents-hash="2f335faca5f4880f8dd5788b6ee42307ba9cc46bdc8ccde4171b5b4876430408" dmcf-pid="puMw8gHEHG" dmcf-ptype="general">세계적인 보안 전문가 브루스 슈나이어 하버드 케네디 스쿨 공공정책 부교수(버크만 클라인 센터의 연구원)와 앤드루 응 스탠퍼드대학 부교수(현 아마존 보드멤버·전 구글브레인 공동설립 리더)도 'AI 에이전트' 시대엔 지금까지 없었던 위협이 발생할 수 있다고 경고한 바 있다.</p> <p contents-hash="89efed11f9a286faf1a5c0a0880c4a28db17db545352e20bae8407c9c51513b0" dmcf-pid="U7Rr6aXDHY" dmcf-ptype="general">슈나이어 부교수는 "AI는 인간이 가진 상식 기준과는 다른 기준을 가질 수 있다"며 "중요 의사 결정 프로세스에 AI를 적용했다가 더 체계적이고 치명적인 실수를 일으킬 수 있다"고 했다.</p> <figure class="figure_frm origin_fig" contents-hash="5cc818535cc682c15aa7a0797357b00d2cf2b4cde6b28f7e1672d2dc4dcf3554" dmcf-pid="uzemPNZwZW" dmcf-ptype="figure"> <p class="link_figure"><img alt="데미스 허사비스 구글 딥마인드 CEO ⓒ AFP=뉴스1" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064011696yvjq.jpg" data-org-width="860" dmcf-mid="YT2gqMhLYU" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202504/07/NEWS1/20250407064011696yvjq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 데미스 허사비스 구글 딥마인드 CEO ⓒ AFP=뉴스1 </figcaption> </figure> <p contents-hash="a0259272e246cd846294c09c7bc88f81b6b590f088cd2a0b43c86b123dd41138" dmcf-pid="7t4jKdva5y" dmcf-ptype="general">딥마인드 보고서는 AI가 '정렬된 상태'를 유지하도록 학습·훈련하는 것을 자율적 비정렬 행동을 막기 위한 1차 방어선으로 설정하고 '증폭된 감독'(Amplified Oversight) 개념을 제시했다.</p> <p contents-hash="c5ab8969e873a831349acdc59edf5ee7a71dfc7514160b873c37bddcb477fded" dmcf-pid="zF8A9JTNGT" dmcf-ptype="general">증폭된 감독은 상위 1% AGI들이 상호 비판적 피드백을 주고받도록 설계한 구조를 말한다. 복수의 AI가 서로 인간의 통제를 벗어나지 않게 감시하도록 하는 방식이다.</p> <p contents-hash="800df6d8cc984e98a7a20b298f36906fa81b701c458e696441996f73f6261a83" dmcf-pid="q36c2iyjHv" dmcf-ptype="general">2차 방어선은 AGI가 정렬되지 않았더라도 시스템 차원에서 문제를 억제하는 방식이다. 보고서는 이 같은 방어선을 구축하려면 AI를 '내부 위협자'로 간주해 전 세계가 보안 체계 전반을 재설계해야 한다고 봤다. 아울러 △샌드박싱 △접근권 분리·통제 △이상 행동 탐지 등을 기반으로 위협 행동 발생 시 인간이 신속하게 대응할 수 있어야 한다고 강조했다.</p> <p contents-hash="ea50e1393efcb17ca0192e537dd4bb59b93469656aa950e201f026da81c99c41" dmcf-pid="B0PkVnWAGS" dmcf-ptype="general">보고서는 고의적 오용 방지에는 AGI가 '위험 역량'을 보유하고 있는지를 정량적으로 평가해야 한다고 했다. 사이버 공격·해킹 등 실제 피해를 유발할 수 있는 능력을 사전에 점검하고 일정 기준을 넘을 경우 즉시 완화 조치를 시행하는 절차를 구축해야 한다고 설명했다.</p> <p contents-hash="8b6af6fb06667083f697fa44a2727e7449ba8b4711da84ad5239578e48a3f7ec" dmcf-pid="bpQEfLYctl" dmcf-ptype="general">ideaed@news1.kr </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 황가람, ‘복면가왕’ 판정단 활약 04-07 다음 ‘P의거짓’ ‘스텔라 블레이드’ 제쳤다..크래프톤 ‘인조이’, 韓 대표 시뮬레이션 게임 자리매김 [Oh!쎈 초점] 04-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
