[AI 세이프가드] ⑤ 좌담회 - “AI 안전은 산업 경쟁력 결정 요소”…'안전한 가속' 주문 작성일 10-24 64 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GxTKt8SrwT"> <figure class="figure_frm origin_fig" contents-hash="b849ef161e3306f1e70f626baf5bbf4523cfbc3717cf218e5f6b1a27a698b706" dmcf-pid="HMy9F6vmsv" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI 세이프가드 좌담회가 'AGI시대, 한국 AI는 어떻게 안전하게 가속할 것인가'를 주제로 지난 1일 서울 서초구 전자신문에서 열렸다. 왼쪽부터 김지선 전자신문 부장, 이진수 과학기술정보통신부 인공지능정책기획관, 권순일 업스테이지 CSO, 고학수 서울대 법학전문대학원 교수, 변순용 서울교대 윤리교육과 교수, 김세엽 셀렉트스타 대표. 이동근기자 foto@etnews.com" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150233274vwif.jpg" data-org-width="700" dmcf-mid="VhaaQEqFEF" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150233274vwif.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> AI 세이프가드 좌담회가 'AGI시대, 한국 AI는 어떻게 안전하게 가속할 것인가'를 주제로 지난 1일 서울 서초구 전자신문에서 열렸다. 왼쪽부터 김지선 전자신문 부장, 이진수 과학기술정보통신부 인공지능정책기획관, 권순일 업스테이지 CSO, 고학수 서울대 법학전문대학원 교수, 변순용 서울교대 윤리교육과 교수, 김세엽 셀렉트스타 대표. 이동근기자 foto@etnews.com </figcaption> </figure> <p contents-hash="7de097fabecaebfd401993a7c4720dfea0f5f6f91e97e285f685864d2346972c" dmcf-pid="XRW23PTssS" dmcf-ptype="general">인공지능(AI) 기술의 빠른 발전과 함께 인간 통제를 벗어난 AI 에이전트, 고성능 프런티어 AI 모델이 가져오는 사이버 보안 위협 등 새로운 위험도 나타나고 있다. AI를 얼마나 빠르게 개발할 것인가뿐 아니라 어떻게 안전하게 활용하고 통제할 것인지가 핵심 과제로 떠올랐다.</p> <p contents-hash="ea2ff00bb394c09f012b13fd7b07c9314f187b30962ecf67c36173cd173806a6" dmcf-pid="ZeYV0QyOEl" dmcf-ptype="general">미국과 중국을 추격해야 하는 한국에 상황에서 단순한 개발 속도 조절은 현실적인 해법이 되기 어렵다. AI 안전이 혁신을 가로막는 규제가 아닌 산업 경쟁력을 결정하는 핵심 요소라는 점에서 AI 기술 개발은 가속하되 안전성과 신뢰성 확보도 기술 발전에 맞춰 고도화해야 한다는 주문이 나온다.</p> <p contents-hash="b3687c1e57cae19071ba58e81685e64b025d089c23498fb5e4f9c0d516614c17" dmcf-pid="5dGfpxWImh" dmcf-ptype="general">전자신문은 창간 44주년 특별기획 'AI 세이프가드'의 마지막 순서로 정부·학계·산업계 전문가들과 안전한 AI 활용 생태계 구축 과제와 전략을 논의하는 특별좌담회를 진행했다.</p> <p contents-hash="6af129a245ae845fee3ef6f17bb1d75be5b4ab77431b84be3fff049b6943d225" dmcf-pid="1JH4UMYCOC" dmcf-ptype="general">AI 안전성은 비용을 넘어 기업과 국가의 경쟁력이 될 수 있는 만큼 단순한 개발 속도 조절보다 '안전한 가속'이 현실적인 해법이며, 원칙 수립과 레드팀 가동 등 추상적인 AI 윤리를 실질적인 안전장치로 구현할 수 있는 해법을 모색해야 한다는 의견이 제시됐다.</p> <p contents-hash="bf30ea247ca37e3928079c372c5718bfa588a15cd03412105cff4689ec019884" dmcf-pid="tiX8uRGhsI" dmcf-ptype="general">〈참석자(가나다순)〉</p> <p contents-hash="3778fcf1257e44ecc1fc30f6694cb6e057ebefddaee169766c09315448abcaca" dmcf-pid="FnZ67eHlsO" dmcf-ptype="general">△고학수 서울대 법학전문대학원 교수(전 개인정보보호위원회 위원장)</p> <p contents-hash="b9966cc08a2cbc593d1ce5facc3dce34c1b4a82fe3e6de2beb94e4e0395aae0d" dmcf-pid="3L5PzdXSrs" dmcf-ptype="general">△권순일 업스테이지 최고전략책임자(CSO·부사장)</p> <p contents-hash="de7144fa02edbfd6d9752a0bd715e154b3c0d320ae2a88e2df066423e0ea49be" dmcf-pid="0Qvb14lwsm" dmcf-ptype="general">△김세엽 셀렉트스타 대표</p> <p contents-hash="ce8c96abc797d47a0d4248adfbdd6bc6cd2df550051a02b9fbd4cc2b780218ce" dmcf-pid="pxTKt8Srsr" dmcf-ptype="general">△변순용 서울교대 윤리교육과 교수(한국인공지능윤리학회 회장)</p> <p contents-hash="9932bcf392053b9d0f7bfebda97c7197e09343572421f42d1cf8337856498c15" dmcf-pid="UMy9F6vmww" dmcf-ptype="general">△이진수 과학기술정보통신부 인공지능정책기획관</p> <p contents-hash="40b128b0663405a158afd8e4daad0d27d2712745c26ffa850abea0a8e819fa00" dmcf-pid="uRW23PTswD" dmcf-ptype="general">△사회=김지선 전자신문 SW/AI산업부장<br></p> <figure class="figure_frm origin_fig" contents-hash="fb3c3bf18d738c326c647e695690ceee67f0ac2101406904aeb05829291bcb49" dmcf-pid="7eYV0QyOsE" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI 세이프가드 좌담회가 'AGI시대, 한국 AI는 어떻게 안전하게 가속할 것인가'를 주제로 지난 1일 서울 서초구 전자신문에서 열렸다. 왼쪽부터 김지선 전자신문 부장, 이진수 과학기술정보통신부 인공지능정책기획관, 권순일 업스테이지 CSO, 고학수 서울대 법학전문대학원 교수, 변순용 서울교대 윤리교육과 교수, 김세엽 셀렉트스타 대표. 이동근기자 foto@etnews.com" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150234555bffd.jpg" data-org-width="700" dmcf-mid="PLNOavQ9DX" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150234555bffd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> AI 세이프가드 좌담회가 'AGI시대, 한국 AI는 어떻게 안전하게 가속할 것인가'를 주제로 지난 1일 서울 서초구 전자신문에서 열렸다. 왼쪽부터 김지선 전자신문 부장, 이진수 과학기술정보통신부 인공지능정책기획관, 권순일 업스테이지 CSO, 고학수 서울대 법학전문대학원 교수, 변순용 서울교대 윤리교육과 교수, 김세엽 셀렉트스타 대표. 이동근기자 foto@etnews.com </figcaption> </figure> <p contents-hash="b69f5ad72bc635e9a861dd8523f3e52db8f568c96db3879ac22db42360bc1038" dmcf-pid="zdGfpxWIEk" dmcf-ptype="general">◇사회(김지선 전자신문 SW/AI산업부장)=최근 글로벌 AI 업계에서는 AI 역량 발전 속도에 맞춰 안전장치와 거버넌스를 강화해야 한다는 논의가 확산되고 있다. 프런티어 AI 개발 속도를 조절할 필요가 있다고 보는지. 아직 미국·중국을 추격해야 하는 한국의 입장에서는 어떤 전략이 필요할까.</p> <p contents-hash="5534aa3d07af130a69bc2398e6334febbf533a18cf78e1753d3851af247a76f8" dmcf-pid="qJH4UMYCwc" dmcf-ptype="general">◇김세엽(셀렉트스타 대표)=AI 기술 진흥과 보안은 함께 추진해야 하지만 우선 기술 개발 속도를 더욱 높여야 한다고 생각한다. 아직 산업 현장에서 AI를 적용하는 수준은 실질적인 위험이 큰 영역까지 진입하지 못했다. 셀렉트스타를 예로 들면 금융권 고객이 많은데 현재 상당수가 사내 직원 대상 AI 전환(AX)을 추진하고 있다. 대고객 서비스로 확대 시 불안감 때문이다. 이러한 상황을 고려하면 AI 프런티어 기술 자체를 발전시키는 데는 아직 충분한 시간이 있다고 생각한다. 기술이 빠르게 발전하고 있지만, 실제 산업 현장에 적용되는 속도는 늦어지는 경우가 많다. 안전성 문제까지 고려하면 도입이 더욱 지연될 가능성도 있다. 따라서 AI 기술 개발은 계속해서 속도를 내는 것이 필요하다고 생각한다.</p> <p contents-hash="613845095e5172cc98157bad1daf1f8a9da7c38dcb459600d73198929030c2b6" dmcf-pid="BiX8uRGhDA" dmcf-ptype="general">◇고학수(서울대 법학전문대학원 교수)=AI 개발 속도를 높일 것인지, 늦출 것인지 이분법적 논의 자체가 잘못된 프레임이라고 생각한다. 기술 개발은 지속해야 한다. 현실적으로 한국뿐만 아니라 유럽과 중국에서도 기술 개발 속도를 늦추는 상황은 발생하지 않을 것이다. 국제사회에서 AI 개발 속도에 대한 논의의 장이 마련되고, 글로벌 합의를 통해 앞으로 방향이 결정되면 우리나라도 그 틀 안에서 대응 방안을 고민할 수 있을 것이다. 안전장치는 필요하다. 기술 발전과 안전성 확보는 당연히 함께 고민해야 한다. AI 안전 관련 글로벌 논의에 참여하는 방식에 대해 고민해야 한다. 국제사회에서 특정 의제가 공식화되고 의견을 제시하는 것은 의미가 없다. 공론화 전 AI 안전 논의를 시작해 의제 형성 과정에 참여해야 한다.</p> <p contents-hash="ce1dc93b967b63f18964d9c46a8a2edd74a1d518819d8818f99d7754adb9eac4" dmcf-pid="bnZ67eHlEj" dmcf-ptype="general">◇이진수(과학기술정보통신부 인공지능정책기획관)=이상적으로 미국과 중국까지 포함해 글로벌 차원 AI 개발과 안전성 논의를 진행하는 것이 바람직하다. 최근 미국 백악관에서는 자율규제 중심 정부가 최소한의 안전장치를 마련하는 방향이 제시됐다. 기술 혁신은 지속하겠다는 것이다. 중국은 속도조절 논의에 부정적 입장이다. 국제 논의는 진행되고 있다. UN 총회에서 거론됐고 노르웨이·핀란드가 주도하는 이니셔티브에 28개국이 참여해 대응 방안을 논의하고 있다. 국제 논의 필요성과 당위성은 분명하지만, 실질적 합의에 도달하기까지는 아직 갈 길이 멀다고 생각한다. AI 기술 개발을 가속해야 하는 상황이다. 다만 AI 모델 성능이 높아지는 만큼 안전성과 신뢰성을 확보하기 위한 장치도 함께 강화해야 한다.<br></p> <figure class="figure_frm origin_fig" contents-hash="a8ed8297f75b08152fd46b392d075b182526c64b963a97d5f8b6a0cb84bb849e" dmcf-pid="KL5PzdXSDN" dmcf-ptype="figure"> <p class="link_figure"><img alt="변순용 서울교대 윤리교육과 교수" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150235785iyng.jpg" data-org-width="333" dmcf-mid="Q9fJVa0HIH" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150235785iyng.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 변순용 서울교대 윤리교육과 교수 </figcaption> </figure> <p contents-hash="732f2c1fde94c1c207accf88537514c16403f1a6eb73f22895974b6c1d23ef84" dmcf-pid="9o1QqJZvDa" dmcf-ptype="general">◇변순용(서울교대 윤리교육과 교수)=인공지능 기업 최고경영자(CEO)들이 개발 속도조절을 이야기하는 것은 일종의 '양치기 소년 전략'처럼 느껴진다. 속도조절을 주장하는 사람들은 본능적으로 개발 속도를 늦출 수 없는 사람들이다. 기술을 계속 개발해야 살아남을 수 있다. 문제가 발생했을 때 자신들은 위험성을 인식하고 속도를 조절하려 했다고 주장하기 위한 면피용 발언은 아닌지 의문이다. 기술 발전 상황을 고려할 때 개발 속도를 천천히 하겠다는 주장 자체도 설득력이 없다. 진정으로 위기를 느끼고 자신들이 개발하는 기술의 문제점을 자각하고, 기술적으로 개발할 수 있더라도 바람직하지 않은 기술은 개발하지 않겠다는 원칙을 설정해 실천하려고 노력해야 진정성 있고 설득력이 생긴다.</p> <p contents-hash="4842760153eac5ccbffbb72b7c9e8a534b9bbe9eec1be8506eb47332ac2b3674" dmcf-pid="2gtxBi5TDg" dmcf-ptype="general">◇권순일(업스테이지 CSO)=AI 모델이 특정 영역에서 위기감을 느낄 정도로 높은 성능을 보여주는 것은 사실이다. 그러나 속도조절해야 할 만큼 기술이 발전했는지는 의문이다. 해당 이슈는 AI 분야 주도권을 확보하거나 후발주자를 견제하려는 측면이 있다고 생각한다. 마케팅 성격이라는 시각도 있다. AI 모델 성능이 부족하더라도 기술 변화 속도가 빠르다는 점에서 안전에 대한 사회적 공감대를 형성하는 것은 중요하다. 다양한 이해관계 논의를 미리 시작해야 한다. 업스테이지 내부에서도 AI 안전성 평가를 언제, 어떻게 진행해야 하는지 많은 논의가 이뤄진다. 적정 AI 안전성 확보에 대해 모델 개발자들 사이 의견도 다양하다. 상식과 공감대 확보에 근거한 속도조절 의미와 필요에 대한 논의가 먼저 이뤄져야 한다.</p> <p contents-hash="a7941fcd494dd3a97b19abb3e95ba7c286d2abbbc5d2c928fd9c80b89e20c9a6" dmcf-pid="V2spWBrNDo" dmcf-ptype="general">◇사회=정부가 인간 중심성·프라이버시 보호·공정성·포용성·책임성·안전성·신뢰성·투명성 등 7대 원칙으로 '대한민국 AI 윤리원칙'을 제시했다. 선언에 그치지 않고 실제 AI 개발·배포·이용 과정에서 작동하게 하려면 무엇이 필요할까.</p> <p contents-hash="7ea4bc27a5aca3d5f4e6eecc88fd79e8db8bfbb46c8b5cbf5c1132f91bd2cf68" dmcf-pid="fVOUYbmjrL" dmcf-ptype="general">◇변순용=AI 윤리 원칙을 만드는 과정에서는 항상 산업계와 충돌이 발생한다. 정부나 전문가들이 규제가 아니라 안전을 위한 가드레일이라고 설명해도 산업계에서는 이를 규제로 받아들이는 경우가 많다. 이러한 인식부터 바뀌어야 한다. 충분한 고민 없이 AI 기술을 사용하는 것도 문제다. 현재 초·중·고등학교에서 활용할 수 있는 AI 윤리교육 내용 체계가 개발됐으며, 국가교육위원회에서도 관련 작업이 이뤄지고, AI 윤리 원칙을 바탕으로 학교 교육을 어떻게 구성하고 운영할 것인지도 논의하고 있다. 윤리 원칙을 교육으로 구현하는 데는 시간이 많이 걸리지만 장기적으로는 효과적인 방법이라고 생각한다. AI를 활용하는 교육과 AI에 의존하지 않고 스스로 수행하는 교육 사이 균형도 잡아야 한다.</p> <p contents-hash="3856619d08631fbd3580a15e0e21a1bd359a506d788d6d2a0b69e369e5ad2efe" dmcf-pid="4fIuGKsAEn" dmcf-ptype="general">◇권순일=AI 자체를 위한 세이프가드를 이야기하는 것인지, 사회 전체 안전을 위한 세이프가드를 이야기하는 것인지 구분해야 한다. 기본적으로 사회 안전망과 원칙을 먼저 마련하고 AI에 어떻게 적용할 것인지 고민해야 한다. AI 모델을 출시하기 전 사회적 상식과 원칙에 따라 점검하는 것이 우선이다. AI에 특화된 세이프가드를 구체화하는 데 시간이 걸릴 것이다. 사회적으로 논의되는 안전 원칙은 AI 모델 개발 과정에도 적용해야 한다. 교육 역시 AI 기술 자체를 어떻게 가르칠 것인지뿐 아니라 AI를 어떤 시각에서 바라봐야 하는지, 사회 원칙과 안전망 안에서 어떻게 활용해야 하는지 고민해야 한다.<br></p> <figure class="figure_frm origin_fig" contents-hash="82ce4f1c3b2431d196b2cf01ac15e75fb70a796aaa595f4fcb7a7a72f01d826c" dmcf-pid="84C7H9Ocsi" dmcf-ptype="figure"> <p class="link_figure"><img alt="김세엽 셀렉트스타 대표" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150237043ifbt.jpg" data-org-width="700" dmcf-mid="xZJkds2uwG" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150237043ifbt.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김세엽 셀렉트스타 대표 </figcaption> </figure> <p contents-hash="c18ea8aab62af06e6e3406cb95508cca58f2cf139edd8014721a696b0e2cb78e" dmcf-pid="68hzX2IkrJ" dmcf-ptype="general">◇김세엽=AI 안전성 확보에서 중요한 것은 기술을 개발하는 조직과 그 기술에 대한 책임을 지는 조직의 역할을 구분하는 것이다. 개발 조직은 일반적으로 안전성 관련 업무를 적극적으로 수행하고 싶어하지 않는다. 반면 책임을 지는 조직은 AI 활용에 따른 위험을 관리하고 조정해야 한다. 이 과정에서 개발 조직의 활동을 조절하게 되고 두 조직 이해관계가 충돌할 수 있다. 그럼에도 책임 조직이 역할을 하는 것이 중요하다. AI를 활용하더라도 정확성을 유지해야 한다는 점은 달라지지 않는다. 산업에 AI를 적용할 때 따라야 하는 가이드라인을 명확하게 제시하면 시장은 자연스럽게 움직일 것이다. 산업계의 AI 활용 성숙도가 높아지고 기술이 익숙해지면 더 많은 영역으로 시장이 자연스럽게 확대될 수 있다고 생각한다.</p> <p contents-hash="a1db20723caadf179f05e32241502b995132f016ff5cb1bb51a310c4e3e1596a" dmcf-pid="P6lqZVCEmd" dmcf-ptype="general">◇고학수=AI 안전성 관련해서는 법과 윤리 관계를 함께 고민해야 한다. 윤리를 흔히 '공자님 말씀'처럼 받아들이는 분위기가 있다. 현실적으로 큰 의미가 없고 여유가 있는 사람들만 신경 쓰는 문제라고 생각한다면 윤리 원칙이 제대로 작동하기 어렵다. 윤리 원칙이 의미를 가지려면 관련 법과 어떻게 연결되는지 살펴야 한다. 윤리와 안전성 확보 활동은 실제 산업 현장 및 개발 업무와 연결돼야 한다. 개발자들이 상식적인 수준에서 안전성 문제를 고민하고 여러 질문을 던지면서 브레인스토밍을 하는 것은 출발점이 될 수 있다. 몇 단계를 더 거쳐 체계적 평가와 검증 틀을 마련해야 한다. AI 윤리와 안전성을 검증하는 레드팀을 어떻게 구성하고 어떤 역할을 맡길 것인지 경험 자체가 대기업에서 경쟁력이 될 것이다.</p> <p contents-hash="e7ed4e39251658759e5a7be3cdf2567eb3e757b668e5ea5b70c0ec374280adb3" dmcf-pid="QPSB5fhDme" dmcf-ptype="general">◇이진수=정부 관점에서 AI 규범은 경성 규범인 AI기본법과 연성 규범인 AI 윤리 원칙이 있다. 경성 규범이 마련된 상황에서 연성 규범이 어떤 역할을 해야 할지 고민할 필요가 있다. 규범의 역할이 다르다. 윤리 원칙은 사회 구성원들이 함께 고려해야 할 가치와 방향을 제시한다는 의미가 있다. 자율적인 실천이 뒷받침돼야 한다. 최근 레오 14세 교황이 AI 관련 회칙을 제시한 것 역시 기술 변화에 대응하는 윤리적 방향을 정립하려는 움직임으로 볼 수 있다. 연성 규범이 어느 정도 작동하면 법적 규제에 대한 요구가 제기되더라도 완충하는 역할을 할 수 있다.</p> <p contents-hash="8746d7717bd33b7988da631e3c6ff0fadf2e155c0d1f6fe7f5d8f6946edbbbf1" dmcf-pid="xQvb14lwER" dmcf-ptype="general">◇사회=안전 요구가 지나치면 AI 개발 속도를 늦추고 기업 부담을 높일 수 있다는 점에서 AI 안전성 확보를 비용으로 보는 시각이 있다. 기업·산업 관점에서 AI 안전을 어떻게 경쟁력으로 전환할 수 있을까.</p> <p contents-hash="250f19ef7a9ab4ea33446c4e7837038d5f9c4fd08a9b329b92e7b99d61678759" dmcf-pid="yTPrLh8BDM" dmcf-ptype="general">◇고학수=기업은 안전성 확보가 반드시 필요한 단계에 이르러야 관심을 갖고 비용 지출을 시작하는 경향이 있다. 기업 현장에서 AI 안전성 확보를 비용으로 생각할 수 있다. 다른 측면을 봐야 한다. AI 기술이 고도화되고 시장 경쟁이 치열해지면 모델 성능뿐 아니라 부작용이 적고 안전성이 검증됐다는 사실도 중요해질 것이다. 성능이 우수하면서도 부작용이 적고, 객관적인 평가까지 받은 AI 제품이라면 안전성 자체가 경쟁력이 될 수 있다. AI 기술이 고도화되고 일상생활 전반으로 확산할수록 안전의 중요성도 더욱 커질 것이다. 안전성은 AI 제품과 기업의 경쟁력을 결정하는 중요한 축이 될 것이라고 본다.</p> <p contents-hash="c6192d8d110d469b11cc14543a6f6d640fc274df95c1561874ee05d840e2ed8c" dmcf-pid="WyQmol6bIx" dmcf-ptype="general">◇김세엽=내부 통제와 안전성 확보는 결국 경쟁력을 만들어줄 것이라고 생각한다. 기업이 어떤 성장 단계에 있는지도 중요하다. 사업 초기 스타트업이면 안전성 확보가 비용으로 느껴지는 것이 맞다. 이미 고객 신뢰를 확보한 기업이라면 내부 통제를 강화하고 위험을 해결하는 능력이 오히려 경쟁력이 된다. AI 안전성은 누군가에게는 비용이지만 다른 누군가에게는 경쟁력이 될 수 있다는 의미다.</p> <p contents-hash="7ad8ce413af78d8b2ca3c87c3ae2e625a6178fa7c921ecf3455b12e9d9b427d4" dmcf-pid="YWxsgSPKsQ" dmcf-ptype="general">◇권순일=AI 안전성 확보에는 당연히 비용이 든다. 사회적으로 반드시 지출해야 하는 비용도 있다. 안전성 확보를 위해 일정한 사회적 비용을 부담해야 하는 것은 불가피하다. 최근 AI 모델 개발에 활용되는 알고리즘은 중간 처리 과정이 블랙박스에 가까운 경우가 많다. AI 모델 내부 과정을 충분히 통제하지 않더라도 최종 단계에서 가드레일을 적용하면 규제상 문제가 없을 수 있다. 그럼에도 사전에 안전성 확보를 위한 조치를 취해야 한다. 현재의 투자와 비용이 앞으로 발생할 수 있는 더 큰 피해를 방지할 수 있다.<br></p> <figure class="figure_frm origin_fig" contents-hash="f5e5160896ce0e0cf38e214311f76de2db2333ddf40b9e0ff516a2a77d58db1c" dmcf-pid="GRW23PTsmP" dmcf-ptype="figure"> <p class="link_figure"><img alt="이진수 과학기술정보통신부 인공지능정책기획관" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150238338hxmh.jpg" data-org-width="700" dmcf-mid="yk1QqJZvwY" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150238338hxmh.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 이진수 과학기술정보통신부 인공지능정책기획관 </figcaption> </figure> <p contents-hash="7cdab1e3a4b5fbb57614fca3a46eacaa93e2c14a72cbc18076481e07b3fb125b" dmcf-pid="HeYV0QyOr6" dmcf-ptype="general">◇이진수=국가 차원에서도 AI 안전성과 신뢰성은 경쟁력이 될 수 있다고 생각한다. 우리나라에는 AI 관련 국제협력 요청이 많이 들어오고 있다. 한국 기업들 기술 경쟁력이 높아진 영향도 있지만, 국제사회 내 미국·중국 양강 AI 경쟁 구도도 영향을 미친다. 미국에도 중국에도 종속되고 싶지 않은 상황이 있다. 한국은 제국주의 역사가 없고 K컬처로 형성된 국가적 이미지도 있다. 국가 차원에서 믿고 신뢰할 수 있는 자산을 갖추고 있다는 의미다. 국가 단위 AI 경쟁에서 이를 활용할 수 있다. AI 안전성과 신뢰성 측면에서 경쟁력을 확보하면 AI 기술과 서비스의 수출, 해외시장 진출로 연결될 수 있다고 생각한다.</p> <p contents-hash="8b9ab9c72bfb4b35f94b382adf3f5fead70aeb548befbd8d5ba6294cc6599b2a" dmcf-pid="XdGfpxWIr8" dmcf-ptype="general">◇변순용=AI 활용이 늘어날수록 사고·소송 등 문제가 발생할 가능성이 높다. 기업의 존망이 걸린 상황에서는 안전성과 윤리 문제를 따지기 어려울 수 있다. 생존 자체가 중요한 스타트업과 이미 안정적인 사업 기반을 확보한 기업은 상황이 다르다. 안전성 확보에 대한 요구 수준과 감당할 수 있는 능력도 기업에 따라 다를 것이다. 모든 기업이 동일한 수준의 안전성을 확보할 수 있는지에 대해서도 생각해 봐야 한다. 결국 기업이 처한 상황에 따라 안전성 확보의 가능성과 수준이 달라질 수 있다는 문제가 있다.</p> <p contents-hash="94d65bd3358b2f0257a4e5b28328a861ad601592ca49dd04740855d74361b2d4" dmcf-pid="ZJH4UMYCO4" dmcf-ptype="general">◇사회=산업 현장에서 가장 빈번하게 발견되는 AI 위협은 무엇인가.</p> <p contents-hash="76a0a2c23d035d28d66297c7aad6f7a975e909871317c8e7e760578fca308c3e" dmcf-pid="5iX8uRGhsf" dmcf-ptype="general">◇김세엽=AI 신뢰성과 안전성이라는 표현은 포괄적이어서 모호하게 느끼는 사람들이 많다. 실제로 문제가 되는 유형은 크게 네 가지로 구분할 수 있다. 첫째는 환각이다. AI가 잘못된 정보를 만들어내는 정보 오류에 해당한다. 둘째는 오작동이다. AI가 잘못된 행동을 수행하는 행동 오류다. 셋째는 불공정성이다. AI가 편향되거나 차별적인 판단을 내리는 문제다. 넷째는 통제 이탈이다. AI가 허가받지 않은 행동을 수행하는 문제다. 산업 현장에서는 AI 에이전트라는 표현을 많이 사용하지만, 현재 AI가 자율적으로 판단하고 실행하는 수준까지 도입된 사례는 많지 않다. 연구개발(R&D) 기반의 챗봇 수준까지 활용 사례가 많다. 현재 가장 큰 문제는 환각이다. AI가 잘못된 정보를 제공하면 성능과 사용성 측면에서도 문제가 발생하지만, 소비자 보호나 설명 의무와 관련한 규제에 저촉될 가능성도 있다. 따라서 환각은 AI 성능과 안전성 양쪽에 모두 해당하는 문제다. 앞으로 AI 에이전트 활용이 확대되면 오작동 문제가 중요해질 것이다. 산업계가 어려움을 느끼는 이유는 AI가 실제 행동을 수행하는 단계로 넘어가면 고려해야 할 경우의 수가 급격히 늘어나고 응답에서 행동으로 평가 범위가 더욱 커진다. 산업계 평가 방식도 AI 에이전트 시스템 전체를 하나의 블랙박스로 평가하는 방식에서 벗어나 개별 에이전트가 어떤 판단과 행동을 수행하는지까지 평가하는 방향으로 바뀌고 있다.</p> <p contents-hash="3bfac706843331ce618ceee063e984af11427a5eb55f2be9a36b573c3da322ef" dmcf-pid="1nZ67eHlEV" dmcf-ptype="general">◇사회=AI 규제가 필요한 영역과 자율에 맡길 영역을 구분할 방법이 있나.</p> <p contents-hash="1c3208717d0e3721b4ea5f7702e41dbdbbd51b30a91d2b80f64720ab03f8909a" dmcf-pid="tL5PzdXSO2" dmcf-ptype="general">◇고학수=큰 틀에서 적용할 수 있는 원칙은 있다. 시장에 맡겼을 때 자정작용이 작동하는 영역은 자율규제를 적용할 수 있다. 반면 부정적인 문제가 확대될 가능성이 큰 영역에는 외부 개입이 필요하다. 예를 들어 AI의 환각이나 오작동 문제는 일반론적으로 시장에 맡겨둘 수 있는 영역이라고 생각한다. 그러나 딥페이크를 이용한 성범죄 등은 상황이 다르다. 이러한 문제를 그대로 방치하면 관련 기술을 암암리에 사용하는 사람들이 오히려 늘어날 수 있다. 어떤 기업은 더욱 진짜처럼 보이는 딥페이크를 만들어준다고 적극 마케팅할 수도 있다. 이런 영역은 시장에 맡길수록 부정적인 문제가 확대될 수 있어 통제가 필요하다. 다만 AI 기술이 워낙 빠르게 발전한다는 점을 고려해야 한다. 기술과 시장 상황이 급격하게 바뀌면 법률이 실제 상황과 제대로 맞지 않는 문제가 발생한다. 불일치를 어떻게 해결할 것인지 고민해야 한다.<br></p> <figure class="figure_frm origin_fig" contents-hash="21bde761876ad12e7c5eec44eb50385cae953418305307139386cdeb68f7f99c" dmcf-pid="Fo1QqJZvO9" dmcf-ptype="figure"> <p class="link_figure"><img alt="고학수 서울대 법학전문대학원 교수" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150239606uipl.jpg" data-org-width="700" dmcf-mid="Wuqo6c71EW" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150239606uipl.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 고학수 서울대 법학전문대학원 교수 </figcaption> </figure> <p contents-hash="1456eedca34d24f99535ca9d3a53839b8d9acebe3e6b242e4d983d25dd58d4f4" dmcf-pid="3gtxBi5TEK" dmcf-ptype="general">◇사회=AI 안전성을 위한 글로벌 협력은 어떻게 추진해야 하나.</p> <p contents-hash="4c771a0716a3d566b8d927d77b3a039f55a653d615edcbea54f846dd252271c1" dmcf-pid="0aFMbn1yrb" dmcf-ptype="general">◇고학수=국제사회 논의에 대응하려면 특정 의제가 공식적인 논의 대상으로 떠오르기 훨씬 전부터 준비해야 한다. 다리오 아모데이 앤트로픽 CEO의 속도조절 주장도 있지만, 데미스 하사비스 전 구글 딥마인드 CEO가 이야기한 것처럼 다른 산업 규제체계를 참고하자는 제안도 있다. 금융 분야 규제체계 참고하자는 의견이 있고, 핵기술 관리체계에 비유해 국제원자력기구(IAEA)와 같은 규제기구를 만들어야 한다는 주장도 있다. 민간 항공 분야의 안전기준을 참고하자는 의견도 제기된다. 이처럼 다양한 영역에서 개인과 전문가들이 제안하는 규범과 관리체계가 등장하고 있다. 우리나라도 이러한 논의를 꾸준히 연구하고 검토해야 한다. 국가적 차원에서 우리나라의 현실을 고려할 때 어떤 형태의 국제협력 체계가 가장 적절한지 계속 고민해야 한다. 관련 논의를 연구하고 기회가 있을 때마다 의견을 제시하며 공식적인 논의가 시작되기 전부터 물밑 작업을 지속할 필요가 있다.</p> <p contents-hash="bfaea72ba8ba9d298234d344ecbf70ca604e23f05f5d1d573a39d581a5cfd983" dmcf-pid="pN3RKLtWIB" dmcf-ptype="general">◇사회=최종 판단은 AI가 아닌 인간이 내려야 하나.</p> <p contents-hash="16e4b73ba099cd6534c02d018e6a4cdb44898edaabbe592a3cd327c3a5f5ca5c" dmcf-pid="Uj0e9oFYsq" dmcf-ptype="general">◇변순용=우선 인간이 실제로 킬스위치를 누를 수 있을지 생각해 봐야 한다. 원칙적으로 최종 결정은 인간이 내려야 한다고 생각한다. 인간이 최종 결정을 내릴 수 있다고 생각하지만, 실제 상황에서도 그것이 가능할지는 의문이다. 예를 들어 서울지역 교통 통제 시스템이나 지하철 통제 시스템을 중단해야 하는 상황이 발생했다고 가정해 보자. 그때 누가 중단을 결정하고 그 결정으로 인해 발생하는 문제는 누가 책임질 것인지 고민해야 한다. 우리는 어쩌면 새로운 노예를 만들고 싶어 하는 것인지도 모른다. AI 에이전트와 로봇 기술을 왜 원하는지부터 질문해야 한다. 기술 발전의 흐름에 떠밀려가고 있지만, 우리가 정말 원하는 것이 무엇인지는 충분히 고민하지 않고 있다. 인간을 대신해 일하는 새로운 노예를 거느리고 싶은 것은 아닌지 생각해 볼 필요가 있다. 노예를 제대로 통제하려면 주인이 더 똑똑해야 한다. 인간이 최종 결정을 내린다는 원칙 역시 어떤 측면에서는 환상일 수 있다. AI가 어떤 과정을 거쳐 결론에 도달했는지 알지 못하는 상황에서 인간이 어떻게 최종 결정을 내릴 수 없다. 위험한 상황에서 인간이 매 단계마다 결정을 내려야 한다고 주장하면서 동시에 AI가 매우 빠르게 업무를 수행하기를 기대할 수도 있다.</p> <p contents-hash="5dc11821a372d8414e901f145f1fafbc7f4387d7e6323def26a8ea6bb5bd9514" dmcf-pid="uyQmol6bwz" dmcf-ptype="general">◇사회=AI 안전성 검증 시장이 형성될 필요가 있는가.</p> <p contents-hash="0cfe806a6675fd63ba2015161e0254c5be8e9fc1afe541fd1033ec8179093395" dmcf-pid="7WxsgSPKm7" dmcf-ptype="general">◇김세엽=기술을 개발하는 주체와 이를 검증하는 주체를 분리하는 제3자 견제 체계는 항상 존재해왔다. AI 분야에서도 기술을 만드는 쪽과 검증하는 쪽이 나뉘면서 관련 시장이 형성될 것이라고 생각한다. 다른 산업에서도 그랬듯이 검증을 받는 기업이 비용을 지불하는 형태가 될 것이다. 다만 무엇을 검증할 것인지, 검증의 목적은 무엇인지에 대한 논의가 먼저 이뤄져야 한다. 이러한 사회적 담론이 형성되고 정책으로 구체화되는 과정에서 AI 안전성 검증 시장의 기반도 마련되기를 바란다.<br></p> <figure class="figure_frm origin_fig" contents-hash="9963912d224df2fb795c23c5df0f71ecefac75898bde014889b83d94e1935758" dmcf-pid="zYMOavQ9Du" dmcf-ptype="figure"> <p class="link_figure"><img alt="권순일 업스테이지 CSO" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/24/etimesi/20261024150240888zwgz.jpg" data-org-width="333" dmcf-mid="Y68DiIfzsy" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/24/etimesi/20261024150240888zwgz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 권순일 업스테이지 CSO </figcaption> </figure> <p contents-hash="9d65b6d764de6b452c46b0a90973efddb39554d5886e9d1eb1f075e64d86f242" dmcf-pid="qGRINTx2OU" dmcf-ptype="general">◇사회=AI 모델의 성능과 안전성이 충돌할 때 개발사는 어떻게 대응하나.</p> <p contents-hash="993d8d3907a4d4026d8bb44e95071ec57287c939bcd42389af0e437ee8a118b1" dmcf-pid="BHeCjyMVIp" dmcf-ptype="general">◇권순일=AI 안전성 문제는 대부분 구현 단계에서 가드레일을 적용하는 방식으로 대응하고 있다. 모델 자체로 해결해야 할 문제와 모델을 사용하는 서비스 환경에서 적용해야 할 가드레일을 구분한다. AI 편향성 문제를 평가하기 위한 벤치마크도 다양하게 마련돼있다. 데이터를 처음 수집할 때 부적절한 데이터를 걸러내는 단계가 있고, 편향성과 품질보증(QA)을 점검하는 과정도 있다. AI 모델을 사람에 비유하면 뇌에 해당한다고 볼 수 있다. 따라서 모델 자체에서 발생하는 문제와 모델이 활용되는 환경에서 발생하는 문제를 구분해야 한다. 서비스 환경에 필요한 가드레일은 별도로 존재한다. 이러한 가드레일은 모델 개발사가 일방적으로 정하는 게 아니라 서비스를 만드는 기업들이 정한다. 모델 개발사는 해당 기준에 맞춰 기술을 제공한다. 기업간 거래(B2B) 시장에서는 대부분 기존 시스템에 이미 가드레일이 구축돼 있다. 앞으로 업무 방식이 완전히 AI 네이티브 환경으로 전환된다면 이러한 구조도 달라질 수 있다. 그러나 현재로서는 기존 시스템의 가드레일에 맞춰 AI를 개발하고 적용하는 방식으로 진행하고 있다.</p> <p contents-hash="47a2bbdffdd2e05c2cfd953f9029fbba9caf42379ac91277e02e4f100d21c7ee" dmcf-pid="bXdhAWRfm0" dmcf-ptype="general">◇사회=끝으로 AI의 안전한 가속을 위해 어떤 정책이 필요한가.</p> <p contents-hash="1d38532ef358af5ea81a017ef4d25d6f17e442c968e1df3b2985a06be5850ab1" dmcf-pid="KZJlcYe4I3" dmcf-ptype="general">◇이진수=AI 기술의 가속과 감속, 안전과 신뢰는 서로 대립하는 개념이 아니다. 함께 추진해야 하는 과제다. 처음부터 안전성이 확보된 AI 시스템을 만들어야 시장에서도 선택받을 수 있다. AI 안전성과 신뢰성 확보에는 공적인 역할이 중요하지만, 앞으로는 독립적이면서도 영향력 있는 AI 종합평가기관 역할이 더욱 커질 것으로 생각한다. 현재도 AI안전연구소가 존재하지만 규모와 예산 측면에서 부족한 부분이 있다. AI 안전성과 신뢰성 평가를 전담할 수 있도록 관련 기관의 역량을 강화하는 방안을 고민해야 한다. AI 사고가 발생했을 때 이를 보고하고 관리하는 체계도 중요하다. AI 안전성에 관한 연구 역시 지속 고도화해야 한다. 장기적으로는 안전성과 신뢰성 확보 자체가 하나의 산업으로 성장할 가능성도 있다고 본다. 정부가 연말까지 AI 안전·신뢰 관련 마스터플랜을 마련할 계획이다. 관련 작업반도 운영하고 있으니 전문가들이 이러한 논의에 적극 참여해 주기를 바란다.</p> <p contents-hash="0514783350f67425feee505ab84f169b5e3df5820165c2f3b6b51b57c1e457f0" dmcf-pid="95iSkGd8wF" dmcf-ptype="general">박종진 기자 truth@etnews.com, 정현정 기자 iam@etnews.com</p> </section> </div> <p class="" data-translation="true">Copyright © 전자신문. 무단전재 및 재배포 금지.</p> 관련자료 이전 칩 팔고 투자하고 보증까지…엔비디아 'AI 순환거래' 논란[AI 호황의 청구서③] 10-24 다음 “한국, AI '모럴 리더십' 잡아야”…안전·신뢰를 수출 경쟁력으로 10-24 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
