[AI 표준 전쟁 ③] 시시각각 변하는 AI 모델 검증은?…“기존 SW시험 체계론 한계” 작성일 10-23 46 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="PowLtzDgS7"> <p contents-hash="f244cbe7eda656bc4abae5d4b5c7624dba9e943c1da6118bd97f379bb4248137" dmcf-pid="QgroFqwavu" dmcf-ptype="general"><strong>같은 프롬프트에도 다른 생성물…데이터·운영환경 따라 성능·동작 변화</strong></p> <p contents-hash="fccf38d996bc71ce453403093e240fcada9c42e1c3433c8156727260308638c0" dmcf-pid="xamg3BrNWU" dmcf-ptype="general"><strong>제품 규격 넘어 데이터·생애주기·위험관리까지 표준 범위 확대</strong></p> <div contents-hash="4761f5232c84546149b1f4b4c19468634e87f6a3e606dcc48aa7509a22357a39" dmcf-pid="y9MKsTx2Sp" dmcf-ptype="general"> <strong>레드팀·생성형 AI 품질평가도 국제표준으로…“검증 가능한 공통 기준 필요”</strong> </div> <figure class="figure_frm origin_fig" contents-hash="15295397e2af07b44d85d158d9b3ab6eea6660fc622384644d88108fd5b75c6c" dmcf-pid="W2R9OyMVl0" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/23/552796-pzfp7fF/20261023060018325mxep.png" data-org-width="640" dmcf-mid="6hxbmvQ9Wz" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/23/552796-pzfp7fF/20261023060018325mxep.png" width="658"></p> </figure> <p contents-hash="efad5d1fb33350d83c3e228e1c835b260d4eabc518d3436a89b6e107edd6d19d" dmcf-pid="YVe2IWRfv3" dmcf-ptype="general"><strong>AI 경쟁이 기술 개발을 넘어 규칙을 정하는 국제 표준 무대로 번지고 있다. 미국과 유럽연합(EU), 중국, 일본은 자국 기술과 산업 경험을 표준에 담기 위해 정부와 기업 전문가를 함께 내세우고 있다. 추론 수요가 커지면서 AI 데이터센터로 경쟁 무대는 넓어지는 중이다. 한국은 국제 회의 참여 규모로는 최상위권이지만 표준 개발을 주도하는 힘은 아직 부족하다. <디지털데일리>는 국제 표준 현장의 목소리를 통해 AI 표준 경쟁의 판도를 분석하고 한국이 풀어야 할 과제를 짚어본다.<편집자></strong></p> <p contents-hash="4473047e3708113841facbe848b4d93e4bf8d64d78b08f57fbcf3b1a7cdd1697" dmcf-pid="GfdVCYe4SF" dmcf-ptype="general">[디지털데일리 오병훈기자] 인공지능(AI) 데이터센터(AIDC) 추론 효율을 비교할 공통 측정법을 마련하더라도 더 어려운 문제가 남는다. 그 위에서 돌아가는 AI 자체를 어떻게 평가할 것이냐다.</p> <p contents-hash="6201c50e4f7bb818fea3637a417d2567fa4ee6e456df8ab84ab271bc61d56163" dmcf-pid="H4JfhGd8St" dmcf-ptype="general">데이터센터는 소비전력이나 처리량처럼 물리적인 수치를 일정한 조건에서 측정할 수 있지만 AI는 다르다.</p> <p contents-hash="e971507ef58f178fc3c303025d393a2343630116673d65dc6892174d57441cda" dmcf-pid="X8i4lHJ6C1" dmcf-ptype="general">같은 모델이라도 어떤 데이터를 학습했는지, 무엇을 입력했는지, 어느 환경에서 운영하는지에 따라 성능과 결과가 달라질 수 있다.</p> <p contents-hash="fa7aaaf308d501cd916c454e2badc37225b42a899f17658c6eff9bdbac521328" dmcf-pid="Z6n8SXiPW5" dmcf-ptype="general">AI는 동일한 입력에도 설정과 추론 과정에 따라 서로 다른 결과를 내놓을 수 있다. 모델을 업데이트하거나 새로운 데이터로 재학습하면 기존 평가 결과가 그대로 유지된다고 보기도 어렵다.</p> <p contents-hash="219faab4fc684dbe4be8c9f48d3e323c9eb48688f29934e52e44bcafe5101c1f" dmcf-pid="5PL6vZnQvZ" dmcf-ptype="general">이에 AI 표준의 역할도 단순히 제품 규격과 성능을 맞추는 수준에서 확장되고 있다. 무엇을 만들어야 하는지뿐 아니라 어떤 데이터와 조건에서 시험했는지, 위험을 어떻게 확인했는지, 실제 운영 과정에서 성능 변화를 어떻게 관리할지까지 공통 기준으로 만드는 작업이다.</p> <p contents-hash="996219cfeb7b309cabdb7913dd4f21031fcab1c40ecead28930eca5f28797301" dmcf-pid="1XuHJjUZlX" dmcf-ptype="general">AI의 답을 하나로 맞추는 것이 아니라 서로 다른 AI를 같은 방법으로 평가하고 그 결과를 검증할 수 있게 만드는 것이 AI 표준의 핵심으로 떠오르고 있다.</p> <p contents-hash="e9a665f535f10e6b0ecf6719c36fc5aec15ae73539208b9f86bb73da2a887b1f" dmcf-pid="tZ7XiAu5hH" dmcf-ptype="general"><strong>◆같은 입력도 결과 달라…기존 SW 시험법만으론 부족</strong></p> <p contents-hash="c0cf13b02cb27ec03ed7d2d8a8f0bb83353628055ce7d2ff1e19a791b9a43b8f" dmcf-pid="F5zZnc71lG" dmcf-ptype="general">기존 정보통신기술(ICT) 표준에서는 호환성과 재현성이 중요한 역할을 했다. 통신장비라면 서로 다른 제조사 제품이 같은 규격에 따라 정보를 주고받아야 한다. 소프트웨어 역시 정해진 기능과 요구사항이 제대로 구현됐는지를 동일한 시험 절차에 따라 확인하는 방식이 기본이다.</p> <p contents-hash="fe2b5f45f3b38806312cdc54103a62fa184c153e128a7589917d9502d2414064" dmcf-pid="31q5LkztTY" dmcf-ptype="general">AI라고 기존 표준체계를 완전히 버리는 것은 아니다. 오히려 기존 소프트웨어 시험방법을 토대로 AI의 특성을 추가하는 방식으로 새로운 표준이 만들어지고 있다.</p> <p contents-hash="fe45f11a89b927c9fd7f6fc2fd7baf0995c79046f2791a2f647913e09fcbf007" dmcf-pid="0tB1oEqFWW" dmcf-ptype="general">한국전자통신연구원(ETRI)이 개발을 주도한 ‘ISO/IEC TS 42119-2’가 대표적이다. 이 표준은 기존 소프트웨어 시험 국제표준인 ‘ISO/IEC/IEEE 29119’ 시리즈를 AI 시스템 시험에 적용하기 위한 요구사항과 지침을 포함하고 있다. AI 시스템 개발·유지 과정에서 발생하는 위험을 토대로 적합한 시험방법과 기법을 선택하는 위험 기반 접근방식을 취한다. 지난해 11월 국제 기술규격으로 발행됐다.</p> <p contents-hash="ba00f0d2c5061f8e339696c472c11df0fd6014cfa71ccf4661ba2ef850b651c3" dmcf-pid="pFbtgDB3hy" dmcf-ptype="general">기존 소프트웨어 시험체계가 쓸모없어졌다는 의미가 아니다. AI라는 새로운 특성을 기존 시험체계에 그대로 담기 어렵기 때문에 시험 범위와 방법을 확장한 셈이다.</p> <p contents-hash="68c66ef45e4b6a339ef1c38312e68c47bcdd4ecf29b4615e765eaa75055931b5" dmcf-pid="U3KFawb0vT" dmcf-ptype="general">예컨대 기존 프로그램에서 특정 기능을 실행했을 때 예상한 결과가 나오는지 확인하는 것만으로 AI를 충분히 평가하기 어렵다.</p> <p contents-hash="83d5ec3b51b4726e05b64d45b94d5fa0f1946e2de9a9f27b7cfe9f32935c1b0e" dmcf-pid="u093NrKpvv" dmcf-ptype="general">AI에서는 어떤 데이터셋으로 시험했는지, 시험 데이터가 실제 사용환경을 얼마나 반영하는지, 데이터 분포가 바뀌었을 때도 같은 성능을 내는지 등을 함께 살펴야 한다.</p> <p contents-hash="c78c2c60fc5d29b53548d1d5ebdc1403e4d692f4f5597550004293fa6f85c13d" dmcf-pid="7p20jm9UhS" dmcf-ptype="general"><strong>◆모델만 봐선 모른다…데이터부터 운영까지 넓어진 표준</strong></p> <p contents-hash="64754ba0e5cee3ff2c05ad7edd893688cee28083d1570359fcefba39746f0792" dmcf-pid="zufUcOV7ll" dmcf-ptype="general">표준화 대상도 모델 자체에서 AI 시스템 전반으로 확대되고 있다. AI 성능은 모델 구조만으로 결정되지 않는다. 학습 데이터 품질과 구성, 개발 과정, 실제 시스템에 배치된 이후 들어오는 데이터, 사람과의 상호작용 등 다양한 요소가 결과에 영향을 준다.</p> <p contents-hash="2e71c2c1201c4cfa66b250f9170882d28bd46650b9c11a62ed67d76a70240bea" dmcf-pid="q74ukIfzyh" dmcf-ptype="general">국제표준화기구(ISO)와 국제전기기술위원회(IEC)의 AI 분과위원회인 ‘JTC 1/SC 42’가 AI 데이터 품질을 별도 표준군으로 다루는 이유다.</p> <p contents-hash="449ebda0f52aaef18fc2ba90663667a977beae9f6e21015dde09acec6ae52eb8" dmcf-pid="Bz87EC4qhC" dmcf-ptype="general">ISO/IEC 5259 시리즈는 AI와 머신러닝에 사용하는 데이터의 품질을 다룬다. 데이터 품질 개념과 용어뿐 아니라 품질 측정, 관리 요구사항, 프로세스와 거버넌스까지 각각의 국제표준으로 나눠 규정하고 있다. ISO는 데이터 품질이 머신러닝 모델의 정확성과 신뢰성에 직접 영향을 미친다는 점을 이 표준의 배경으로 들고 있다.</p> <p contents-hash="0ed7eb224581e208397c922057d256b7a886c5d4d6a2f825b6a6091a079d5494" dmcf-pid="bq6zDh8BWI" dmcf-ptype="general">AI가 만들어진 이후의 과정도 표준 대상이다. 구체적으로는 데이터부터 개발 운영 유지까지 이어지는 AI 시스템 생애주기를 의미한다. 기존 소프트웨어 생애주기 표준을 기반으로 하되 AI에 필요한 프로세스를 추가했다. 실제 서비스에서 사용되는 데이터가 학습 당시 데이터와 달라질 경우 새로운 데이터를 이용해 머신러닝 모델을 다시 학습해야 하는 상황 등이 AI 고유의 특성으로 제시된다.</p> <p contents-hash="b6b03ff49e61f8c8c0d6ed1265ee0556f95829c829727af395ed451a219a5929" dmcf-pid="KBPqwl6blO" dmcf-ptype="general">결국 AI 표준에서는 개발을 마치고 제품을 내놓는 시점을 시험의 끝으로 보기 어렵다. 배치 이후 성능이 유지되는지 관찰하고 데이터나 모델이 바뀌면 다시 평가할 필요가 생긴다.</p> <p contents-hash="371ed18c2f9a8bc3b575aa591fdc2a70722166bbbf19856da47f1f5fed6aed00" dmcf-pid="9bQBrSPKls" dmcf-ptype="general">업계에서도 AI 모델 표준화 작업의 가장 큰 특징으로 빠른 변화를 짚었다.</p> <p contents-hash="8c7855015cec5722ec6b101d7e8f6ce6946a381a738a05a4a5b981963264eb7a" dmcf-pid="2KxbmvQ9hm" dmcf-ptype="general">AI신뢰성 평가 서비스를 제공하는 기업 티냅스의 강민승대표는 “AI 기술이 너무 빠르게 바뀌다 보니 평가 방법론이나 평가 기준도 계속 바뀌고 업데이트된다”며 “이런 상황에서 하나의 기준으로 고정해 놓는 게 굉장히 어렵다”고 말했다.</p> <p contents-hash="fd8c73ae1c55be3cb8fa5114e7f883cef392c978d07ca40dbaa0219dc24d1f93" dmcf-pid="V9MKsTx2yr" dmcf-ptype="general">이어 “AI에 유연하게 영역을 나눌 필요가 있다”며 “모든 것을 하나의 고정된 기준으로 묶기는 어렵다”고 덧붙였다.</p> <p contents-hash="2850c4c54efbe2333195dc052e2f56442891cadc40b4fd06c666eb392bac24cf" dmcf-pid="f2R9OyMVWw" dmcf-ptype="general"><strong>◆ ‘몇 점이면 합격’ 넘어 ‘어떻게 검증했나’…레드팀까지 표준화</strong></p> <p contents-hash="a9f3ca041d40f25d0823cef8249463b6e748c22ff065a518cc29d6cdd2ab8510" dmcf-pid="48i4lHJ6yD" dmcf-ptype="general">AI 기술이 AI 에이전트로 진화하면서 시험방법도 더 복잡해지고 있다.</p> <p contents-hash="39d56c18a9ec1924ff6bee9b1aec88910c16d8988d29ddd88245d5b345691d00" dmcf-pid="86n8SXiPhE" dmcf-ptype="general">SC 42에서는 현재 AI 시스템의 검증·검증분석을 비롯해 레드팀, 생성형 AI 품질평가 등을 별도의 시험표준으로 개발하고 있다.</p> <p contents-hash="2f6dcda26b971e1fc1b6ab4ac4421e3b0b39eab795f7cd4b7d47ff5302c689ef" dmcf-pid="6PL6vZnQvk" dmcf-ptype="general">개발 중인 ‘ISO/IEC TS 42119-7’은 AI 시스템을 대상으로 한 레드팀 평가 방법을 다룬다. 공격 경로와 위험을 식별하고 레드팀 평가를 어떻게 계획·실행할지, 발견한 문제를 어떤 방식으로 기록·보고할지 등을 기술에 종속되지 않는 공통 방법으로 만드는 작업이다. 시험 결과뿐 아니라 평가 과정 자체를 재현할 수 있도록 기준을 만드는 것이다.</p> <p contents-hash="dabb0ab98d72905742de02103e851fa4fe3ff3cb11fdeee6b43299a86ba43846" dmcf-pid="PQoPT5LxTc" dmcf-ptype="general">생성형 AI만을 겨냥한 시험표준도 등장했다. ‘ISO/IEC TS 42119-8’은 프롬프트를 입력받아 텍스트를 생성하는 생성형 AI 시스템의 품질을 평가하기 위한 국제표준 프로젝트다. 안전성을 포함한 품질평가 방법과 레드팀 활용, 결과 분석·해석, 평가 결과의 문서화 방법 등을 다룰 예정이다. 지난해 9월 신규 국제표준 프로젝트로 승인돼 개발이 진행 중이다.</p> <p contents-hash="2620ef59e70c64502291f89d413e0255e0a95b21aa4a0b6a7df529bd9570cfdb" dmcf-pid="QxgQy1oMyA" dmcf-ptype="general">이는 AI 표준이 특정 기술방식을 하나로 고정시키는 것보다 서로 다른 기술을 비교·검증할 수 있는 공통 시험방법을 만드는 방향으로 발전하고 있음을 보여준다.</p> <p contents-hash="6cbbc9deb7173bbdef4276ceffb94acb10d044588aa5d81f8d55d5b20312b542" dmcf-pid="xMaxWtgRCj" dmcf-ptype="general">AI 모델마다 구조와 데이터, 서비스 목적이 다른 상황에서 전 세계 모든 AI에 일률적인 성능 합격선을 적용하기는 어렵다. 의료 AI와 생성형 챗봇, 제조현장 로봇에 같은 위험과 성능기준을 적용할 수도 없다. 대신 어떤 목적과 환경에서 AI를 사용하는지 정의하고, 그 조건에서 요구되는 성능과 위험을 같은 방식으로 시험해 객관적인 증거를 남길 수 있어야 한다.</p> <p contents-hash="9d138a5e313e734a02c4541d8de40c8ae2e9b228375d18248b4829d062ad1fe9" dmcf-pid="yW3yMoFYWN" dmcf-ptype="general">AI가 더욱 자율적이고 복잡해질수록 이 같은 표준의 역할은 커질 전망이다. 최근 국제 AI 표준 논의가 출력 품질과 불확실성, 견고성, 인간 감독, 시스템 로그, 시험·검증과 적합성평가 등 실제 AI의 작동과 검증 문제로 확대되고 있다는 게 국제표준 현장의 평가다.</p> <p contents-hash="67a37826b97a169436dcd7a98f7994566bd826c72ccfe557485338cf2b7e16bf" dmcf-pid="WY0WRg3Gya" dmcf-ptype="general">결국 기존 표준과 AI 표준의 차이는 표준이라는 개념 자체가 바뀌었다기보다 표준이 확인해야 할 대상이 크게 늘어났다는 데 있다. 기존 소프트웨어의 시험·품질관리 체계를 기반으로 하면서도 데이터와 학습, 운영환경, 지속적인 변화라는 AI의 특성을 새롭게 반영해야 한다.</p> <p contents-hash="aed87eaf8c85eb28ebf28858ffa0574834203ec4bff280c8dadaf7a741ea9fc7" dmcf-pid="YGpYea0Hyg" dmcf-ptype="general">AI 시대 표준의 역할도 여기에 있다. 어떤 AI가 유일한 정답인지 정하는 것이 아니라, 서로 다른 AI가 어떤 조건에서 어느 수준으로 작동하는지 같은 언어와 방법으로 설명하고 검증할 수 있도록 만드는 일이다.</p> <p contents-hash="2289fdb14988edc8744a384622cec76657fa2fa4d670a382587ee65570e17344" dmcf-pid="GQoPT5LxCo" dmcf-ptype="general">조영임 가천대 컴퓨터공학과 교수는 “AI는 기존 소프트웨어와 달리 데이터와 학습을 기반으로 지능적인 판단을 수행하고, 운영환경과 상호작용하면서 그 성능과 동작이 변화할 수 있다”며 “기존 소프트웨어 중심의 시험·인증 방식을 그대로 적용하는 데에는 한계가 있다”고 말했다.</p> <p contents-hash="a21e6d9ee35202dec51ce7a25767fda31e18f2cf48e7088d7c85b1f689904302" dmcf-pid="HxgQy1oMCL" dmcf-ptype="general">이어 “앞으로는 기술의 성능뿐 아니라 신뢰성, 상호운용성, 안전성까지 객관적으로 평가할 수 있는 표준체계를 마련하는 것이 중요하다”고 덧붙였다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 [단독] ‘해킹’ KB·신한 “취약점 없다”더니…당국 점검 도마 10-23 다음 [PHP 비상] '자바 강국' 한국은 안전?…"변두리 시스템·중소기업은 아니다" 10-23 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
