국가대표 AI, ‘배점 설계’ 실패했다…AAII 1위 모티프 탈락의 역설 [김현아의 IT세상읽기] 작성일 08-18 28 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AAII 47점 모티프, 벤치마크 24.6점·전문가 27.1점에도<br>사용자 평가 14.1점에 탈락…종합 65.8점<br>전문가·사용자 평가 60점 배점<br>기술력보다 ‘사용성’에 무게<br>“독파모 사업 취지가 무엇인가”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="qtsXngZvsA"> <p contents-hash="a66add3da614584a93999df16f63c8ed7a66178e2cf8b6ccb87fb4a4aa7f5500" dmcf-pid="BFOZLa5Tmj" dmcf-ptype="general"> [이데일리 김현아 기자] 독자 AI 파운데이션 모델(독파모) 2차 평가 결과를 보면서 가장 먼저 든 생각은 “이게 맞나”였다.</p> <p contents-hash="201027cb1b7915a8e5408e357d49de4563d91840fc7a59fc00a117dcaee3033b" dmcf-pid="b3I5oN1ywN" dmcf-ptype="general">정부 의뢰로 글로벌 AI 모델 평가기관 아티피셜 애널리시스(AA)가 실시한 인공지능 종합지표(AAII)에서 47점을 받아 국내 기업 중 1위, 글로벌 10위를 기록한 모티프테크놀로지스가 최종 탈락했기 때문이다.</p> <p contents-hash="73614c463d4d301bc5f305178defca36b2a80bcfc922668e46f09a170e7111e6" dmcf-pid="KyjlPMSrsa" dmcf-ptype="general">반면 AAII에서 31점을 받은 LG(003550) AI연구원은 3차 평가에 진출했다. 업스테이지는 37점, SK텔레콤(017670)은 35점을 기록했다.</p> <figure class="figure_frm origin_fig" contents-hash="4522ce1edef104ebd2d0b550021f8276c1241d18d8e300330f67825ca33957ab" dmcf-pid="9WASQRvmwg" dmcf-ptype="figure"> <p class="link_figure"><img alt="국가대표 AI, ‘배점 설계’ 실패했다…AAII 1위 모티프 탈락의 역설 [김현아의 IT세상읽기]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/18/Edaily/20260818164739012xebp.jpg" data-org-width="550" dmcf-mid="7z04Sy8Brk" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/18/Edaily/20260818164739012xebp.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 국가대표 AI, ‘배점 설계’ 실패했다…AAII 1위 모티프 탈락의 역설 [김현아의 IT세상읽기] </figcaption> </figure> <div contents-hash="92fd203250d1d436276b637e43d5d16cb2eaa35a8c518b628a438ac388827f3d" dmcf-pid="2YcvxeTsOo" dmcf-ptype="general"> 그런데 이데일리가 확보한 세부 평가 결과를 보면 모티프의 탈락 배경은 더욱 선명해진다. </div> <p contents-hash="d9cf3a228d4d6a1cc4598fa3b78f8ce039f4cde743298b8e68a47d2192e6a581" dmcf-pid="VGkTMdyODL" dmcf-ptype="general">모티프는 벤치마크에서 24.6점, 전문가 평가에서 27.1점을 받았다. 하지만 사용자 평가에서는 14.1점에 그쳤다. 전문 사용자 평가 8.4점, 일반 국민 평가 5.7점이다.</p> <p contents-hash="9f1c6164f9a2ffe20dea99856bc9a7637ffa8f6cb480f606b2cc3b9964622008" dmcf-pid="fHEyRJWImn" dmcf-ptype="general">종합점수는 65.8점. 글로벌 기술력을 측정하는 AAII에서는 국내 경쟁사를 모두 앞섰지만, 사용자 평가에서의 열세가 최종 탈락에 영향을 미친 셈이다.</p> <p contents-hash="32f5b8748f31c8e2604c929b8d86242dd67d86d1be3866612f572ee377f06496" dmcf-pid="4XDWeiYCDi" dmcf-ptype="general">정부 역시 모티프의 기술력은 뛰어났지만 사용성과 실제 활용성에서 상대적으로 낮은 평가를 받은 것이 탈락에 영향을 미쳤다고 설명했다.</p> <p contents-hash="d8cce882bb4cfaabff4ae1e13cb054c7ef508c4c0610f87032c8abf5f2b5e4c1" dmcf-pid="8ZwYdnGhsJ" dmcf-ptype="general">그렇다면 묻지 않을 수 없다. </p> <p contents-hash="41954f3c671d24d2e91b14f3f674be2b63a1a72b4e4145456d87e06cc5ede535" dmcf-pid="65rGJLHlrd" dmcf-ptype="general">독파모 사업의 본질은 무엇인가. 세계적 수준의 파운데이션 모델을 개발할 기업을 찾는 것인가, 아니면 지금 당장 가장 잘 활용되는 AI를 뽑는 것인가.</p> <figure class="figure_frm origin_fig" contents-hash="9c2d5a76b77971d3cdb900fb83da798dcb634b86aaa73fbc75c4f1389d899477" dmcf-pid="P1mHioXSOe" dmcf-ptype="figure"> <p class="link_figure"><img alt="출처=과기정통부" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/18/Edaily/20260818164740522ytjj.jpg" data-org-width="1024" dmcf-mid="zdyUkwu5wc" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/18/Edaily/20260818164740522ytjj.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 출처=과기정통부 </figcaption> </figure> <div contents-hash="93a20d3ffd3c99a2b6f2f3b80801ffeed13e5f9d162321540246576e9951dc41" dmcf-pid="QVZbsCKpsR" dmcf-ptype="general"> <strong>AAII 47점이 최종 평가에선 11.75점</strong> </div> <p contents-hash="e6167996f4e35d6e9afcd3c42f2d9a3b70c17b4372190a49686cf95f28a9ebe2" dmcf-pid="xf5KOh9UDM" dmcf-ptype="general">독파모 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 이 가운데 AAII는 벤치마크 40점 중 25점을 차지한다.</p> <p contents-hash="47479a500d8adb236f024d50662c8170936d286606c7894701f9980e9e1cbc7e" dmcf-pid="yCnm24sAmx" dmcf-ptype="general">AAII 원점수는 모티프 47점, 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.</p> <p contents-hash="22615f0ad8a9c28fc5055fd275d1619bcfd417421d236b331f790deb0a1e55e2" dmcf-pid="WhLsV8OcIQ" dmcf-ptype="general">이를 25점 만점으로 환산하면 모티프는 11.75점, 업스테이지 9.25점, SK텔레콤 8.75점, LG는 7.75점이다.</p> <p contents-hash="2535a461605fcb6a04b2cdc48429ab682da72e971a28d51513aaab3568be73eb" dmcf-pid="YloOf6IkwP" dmcf-ptype="general">AAII 원점수에서 모티프와 LG의 격차는 16점이다. 하지만 최종 평가에 반영되는 점수 차이는 4점으로 줄어든다. 여기에 NIA 평가 15점이 더해져 벤치마크 전체 40점이 된다.</p> <p contents-hash="46f20f31c35faf9d1bbc6053c3f4c84a501a1e1520f1873aad97cbbf0a97ca24" dmcf-pid="GSgI4PCEm6" dmcf-ptype="general">글로벌 기술력 평가에서 큰 격차를 내더라도 최종 평가에서는 그 차이가 크게 축소되는 구조다.</p> <p contents-hash="d5280cee0bfb4a388e016059217548cdd2b7dda6d2fd127306e7142c7c622334" dmcf-pid="HvaC8QhDw8" dmcf-ptype="general">반면 전문가 평가 35점과 사용자 평가 25점 등 60점은 모델 자체의 성능뿐 아니라 실제 활용성과 파급력 등에 대한 평가가 크게 작용한다.</p> <p contents-hash="fdff2d2a554b6766566fdd798d964f3c5c046a98bf68fdd9093944f8634274f5" dmcf-pid="XTNh6xlwI4" dmcf-ptype="general">이번 모티프 사례는 이 배점 구조가 결과를 얼마나 크게 좌우할 수 있는지를 보여준다.</p> <p contents-hash="2c728d242162b2b49f9dbf8313bea1f9a2ef5b4b0200784fa0c28bb39913f92a" dmcf-pid="ZyjlPMSrDf" dmcf-ptype="general">한 AI 전문가는 이번 평가 결과를 두고 “진짜 사용성 점수에서 다 갈리게 만들었는데, 이게 이럴 일인가 싶다”며 독파모 사업의 취지를 되물었다.</p> <p contents-hash="84484a949f6cb8f838f488321b2242459e345a32b3efaa04703f97cb85eeabc0" dmcf-pid="5j4o3UgRwV" dmcf-ptype="general">그는 특히 “사용성을 좋게 할 거라면 그냥 오픈웨이트 모델을 쓰면 된다”며 사용성은 모델 성능이 일정 수준 이상 높을 때 부가적으로 고려할 요소라는 취지로 지적했다.</p> <p contents-hash="679f19bd9c49409e19085244242c495ce701fc16ef7eb8a321aa378cfdefe470" dmcf-pid="1A8g0uaeI2" dmcf-ptype="general"><strong>‘사용성’이 모델 개발의 본질인가</strong></p> <p contents-hash="2084752cbbf9d56f84df380b5743c518e2d1fd456b0ed2f55f79afa33ea262f6" dmcf-pid="tc6ap7Ndm9" dmcf-ptype="general">물론 사용성·활용성 평가 자체가 잘못됐다는 의미는 아니다.</p> <p contents-hash="7e4b2840aea8af363b576d4b9542a428f67859efb9cff3259f4819da7fa1bb64" dmcf-pid="FkPNUzjJIK" dmcf-ptype="general">기술력이 실제 서비스와 산업 현장으로 이어지는지를 검증하는 것은 국가 AI 사업에서도 중요하다. 문제는 그 비중이다.</p> <p contents-hash="b6fd2ded5d60c08e5d73a89d32cf9fa5e42cb6540dedeca164575bfb8d143b07" dmcf-pid="3EQjuqAiDb" dmcf-ptype="general">사용성이 좋다는 것이 반드시 모델 자체의 성능이 뛰어나다는 의미는 아니다. 모델 위에 어떤 서비스 환경과 도구, 이른바 하네스(harness)를 구축하느냐에 따라 달라질 수 있기 때문이다.</p> <p contents-hash="b7606d7dca24921b1c8001494b33908f9fb71e8f883a83a16d2c437661bb636a" dmcf-pid="0DxA7BcnsB" dmcf-ptype="general">반대로 파운데이션 모델의 성능이 세계적 수준에 올라섰다면 이를 어떻게 서비스화할지는 이후의 과제로 볼 수도 있다.</p> <p contents-hash="9855cfeb41ccb196c6695648ea950bc8c28a377f6dcdf5135ffcbc2c1f75898b" dmcf-pid="pwMczbkLwq" dmcf-ptype="general">특히 모티프처럼 30여명의 소수 인력으로 글로벌 수준의 모델 성능을 만들어낸 스타트업과 대규모 조직과 고객 기반을 가진 경쟁사의 활용성을 같은 잣대로 평가하는 것이 적절한지도 따져볼 필요가 있다. </p> <p contents-hash="8d05524f61193466001fa9799465cca6b433614b724fb6f743e0cc672a648baf" dmcf-pid="UrRkqKEomz" dmcf-ptype="general">이번 2차 평가에서는 파급효과 및 기여계획 배점도 기존 10점에서 15점으로 늘었다.</p> <p contents-hash="f28469306bbbc4568c2facf531a3d1ff59257ee0cf2142c3f2f33b5f0476a3ce" dmcf-pid="umeEB9DgE7" dmcf-ptype="general">중요한 것은 모티프의 탈락이 부당하다는 결론을 내리는 게 아니다.</p> <p contents-hash="84fe5264a7fc5b9960e1eaee7ecf28f444f4cce0cfcbc881aa1539bb2bcb7b58" dmcf-pid="70C1gjtWru" dmcf-ptype="general">글로벌 탑티어 모델도 50점을 넘기 어려운 AAII 평가에서 47점으로 글로벌 경쟁력을 입증한 기업의 모델이 사용자 평가 14.1점 때문에 탈락할 수 있도록 만든 배점 구조가 과연 독파모의 사업 목적과 맞았느냐는 것이다.</p> <p contents-hash="12eb1075c50b898b573eb2d0d50c55ff1018d3949f3414ded87310860e3f036c" dmcf-pid="zphtaAFYDU" dmcf-ptype="general">더구나 전문가 평가 35점과 사용자 평가 25점 등 전체 100점 가운데 60점이 정성적 판단의 영향을 크게 받는 영역이다.</p> <p contents-hash="1e50986fe8792e38f76aec62f92009826af0b881baf51aa1d0a07cd407966697" dmcf-pid="qUlFNc3GOp" dmcf-ptype="general">이 정도 비중이라면 평가 기준과 세부 항목, 평가위원별 점수, 최종 환산 방식까지 공개해야 한다. 그래야 어떤 항목에서 모티프와 경쟁사의 점수가 벌어졌고, 그 차이가 최종 탈락에 얼마나 영향을 미쳤는지 검증할 수 있다.</p> <p contents-hash="e99cab7f9dbbfd41ae717e5d0cb42cd6ab8af23b2acfefe062816ef3684c9134" dmcf-pid="BuS3jk0Hs0" dmcf-ptype="general"><strong>필요한 것은 ‘기업 구제’가 아니라 평가 검증</strong></p> <p contents-hash="9e5e8a2336949a329cd4a8a012c1258bf0a3051ca0f8b347829b6424cfef2343" dmcf-pid="b7v0AEpXE3" dmcf-ptype="general">과학기술정보통신부는 2차 평가 결과를 기업들에 통보했으며 이의제기와 소명 절차를 진행할 예정이다.</p> <p contents-hash="6405dc2b2ef2795e7fcf58dbc7b05bb0b005e36924c614f628c6a2367ed5c002" dmcf-pid="KzTpcDUZrF" dmcf-ptype="general">모티프 역시 이 절차를 통해 벤치마크·NIA·전문가·사용자 평가의 원점수와 세부 산식을 확인할 필요가 있다.</p> <p contents-hash="3bd21277c26ade1791ce8badc78a1d6610e236b05443950e8ada29579792e474" dmcf-pid="9qyUkwu5rt" dmcf-ptype="general">평가에 문제가 없었다면 정부가 공개하면 된다. 반대로 기업들이 사전에 예측하기 어려운 배점이나 평가 기준이 있었다면 개선해야 한다.</p> <p contents-hash="f9527433c1764f3047274434a8fd74dbaa727a4093fa9a805baddeda8c589c1d" dmcf-pid="2BWuEr71I1" dmcf-ptype="general">이번 논란을 모티프와 LG의 승패 문제로만 볼 필요도 없다.</p> <p contents-hash="191892e97699774e31f79b7925d0a219f673b294bde1cf38ebdaf669674eba93" dmcf-pid="VbY7DmztE5" dmcf-ptype="general">앞으로 수천억원, 나아가 수조원의 세금이 투입될 국가 AI 사업에서 기술력을 얼마나 중시할지, 사용성과 활용성을 어디까지 반영할지는 정책적 선택이다.</p> <p contents-hash="8e1d35fe4e7a9a737b0ea9bc7b7bf8e5a0091d8e871713f91eedb0a7239dc933" dmcf-pid="ftsXngZvDZ" dmcf-ptype="general">다만 배점은 곧 사업의 방향을 말한다.</p> <p contents-hash="253d455bef42a84fd5e29f52399b053ac4ea2527823fc6aa58b5d7c9378d3326" dmcf-pid="4FOZLa5TmX" dmcf-ptype="general">세계적인 파운데이션 모델을 만들겠다고 하면서 정작 모델 성능보다 사용성 평가가 결과에 더 큰 영향을 미치는 구조라면, 과연 무엇을 위한 국가 AI 사업인지 다시 물어야 한다.</p> <p contents-hash="bb68c2a2c156f079688115cb36033c618454b9a15fe198c4b18e5f402f55409b" dmcf-pid="83I5oN1yrH" dmcf-ptype="general">기업들이 평가 기준을 믿고 개발 전략을 세울 수 있어야 하고, 결과가 나온 뒤에는 누구나 그 결과를 검증할 수 있어야 한다.</p> <p contents-hash="a733de897de7363c4abaf49b12758bb2e3c6f40db1cacef28b548bb202a891de" dmcf-pid="60C1gjtWwG" dmcf-ptype="general">국가대표 AI 사업에 필요한 것은 세계적 모델을 만들려는 기업이 믿고 경쟁할 수 있는 평가다.</p> <p contents-hash="9278cf5ef1b527d9b5d3f297e188e34cd3cba078d434afe62d4279d587bdc4bf" dmcf-pid="PphtaAFYIY" dmcf-ptype="general">이번 독파모 논란에서 정말 돌아봐야 할 것은 모티프의 탈락 자체가 아니다. 그 탈락을 만들어낸 ‘배점 설계’가 과연 독파모의 목적에 맞았느냐는 것이다.</p> <p contents-hash="15e585d18f446655ccf58afe48d92766ba09a122b8dc329469e599e93b5dac7a" dmcf-pid="QUlFNc3GsW" dmcf-ptype="general">김현아 (chaos@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p> 관련자료 이전 앞서가는 TSMC…옹스트롬급에서 '후면 전력-기존 설계' 동시 달성 08-18 다음 넷마블, 애니메이션 감성 신작으로 일본 공략 08-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
