오픈AI vs 구글 vs 앤트로픽…슈퍼마리오 가장 잘하는 AI는? 작성일 03-04 120 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">美 UCSD AI 연구팀, 슈퍼 마리오 기반 AI 성능 평가 공개<br>앤트로픽 클로드 3.7이 1등…GPT-4o가 가장 먼저 게임 종료</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="uLDD0Lg23Q"> <figure class="figure_frm origin_fig" contents-hash="e16b579842bebb2df72dc36f2956aa93023f0cbc0f3a9c6aa908f1f6c15e2eda" dmcf-pid="7owwpoaVzP" dmcf-ptype="figure"> <p class="link_figure"><img alt="[서울=뉴시스] 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다. (영상=하오 AI 랩 엑스 캡처) *재판매 및 DB 금지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202503/04/newsis/20250304172052009snah.gif" data-org-width="640" dmcf-mid="UtAA1diBux" dmcf-mtype="image" height="auto" src="https://t1.daumcdn.net/news/202503/04/newsis/20250304172052009snah.gif" width="640"></p> <figcaption class="txt_caption default_figure"> [서울=뉴시스] 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다. (영상=하오 AI 랩 엑스 캡처) *재판매 및 DB 금지 </figcaption> </figure> <p contents-hash="b80e07e9bf6c563eba504eb2a99c4462059a0838780bf088ecd4014d3a3843de" dmcf-pid="zgrrUgNfF6" dmcf-ptype="general"><br> [서울=뉴시스]윤정민 기자 = 오픈AI, 앤트로픽, 구글 인공지능(AI) 중 어느 회사 모델이 게임 '슈퍼 마리오'를 가장 잘할까.</p> <p contents-hash="4644a70d94d403a174233e7e4ab9995a857999c0569adfe46581dda5aa361040" dmcf-pid="qammuaj408" dmcf-ptype="general">미국의 한 대학 연구진이 AI 모델별로 실시간 슈퍼 마리오 게임을 통해 각 모델 성능을 평가했다. 그 결과 앤트로픽 모델이 가장 뛰어난 성과를 보인 걸로 나타났다.</p> <p contents-hash="0e4b64a3c403d0f96c9a97added83cbf4ede1d6ca43b73f25e4aa697675c692b" dmcf-pid="BNss7NA8U4" dmcf-ptype="general">4일(현지 시간) IT매체 테크크런치에 따르면 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다.</p> <p contents-hash="79b0aaf7561253f6ac8187739cf9431d6eb5c15001e574f5ddc9c80738046b30" dmcf-pid="bikkFiLKzf" dmcf-ptype="general">평가에는 앤트로픽이 지난달 24일 공개한 모델 클로드 3.7, 직전 모델인 클로드 3.5와 구글 제미나이 1.5 프로, 오픈AI GPT-4o 등 네 종류의 모델이 활용됐다.</p> <p contents-hash="aaa7e32aad436dba3a7021c6dd0a9ecc35dab241b07364593d68ceaaf46ba7f9" dmcf-pid="KnEE3no9UV" dmcf-ptype="general">슈퍼 마리오 브라더스를 에뮬레이터로 실행했으며 이 연구기관이 개발한 프레임워크 '게이밍에이전트'와 통합해 AI가 마리오를 제어하도록 했다.</p> <p contents-hash="9532efb44de715786af89bf5fb2439c0b8147c8411e5bf5904d77f3b24dff2c1" dmcf-pid="9LDD0Lg2z2" dmcf-ptype="general">게이밍에이전트는 AI에 장애물이나 적이 가까이 있으면 왼쪽으로 이동 또는 점프해 회피하도록 지침을 제공했다.</p> <p contents-hash="ba39c5f449c61dbe419c54fef79023e0d6a9490b336f97d45d2dc1d65775fae1" dmcf-pid="2owwpoaV79" dmcf-ptype="general">게임 시작 5초 만에 제미나이 1.5 프로가 구동한 마리오가 버섯과 부딪혀 죽었다. GPT-4o로 구동한 마리오도 마찬가지였다.</p> <p contents-hash="f6c3a8d4f614a34efd5c706a49050162fdaab5d11fdbbd6d60660fb17dbb7de1" dmcf-pid="VgrrUgNfpK" dmcf-ptype="general">이와 반대로 클로드 3.5와 3.7로 구동한 마리오는 상대적으로 오래 생존했다. 클로드 3.5로 구동한 마리오는 28초 만에 낭떠러지로 떨어졌고 클로드 3.7로 구현한 마리오는 적도 해치우며 45초에 달하는 생존력을 보였다.</p> <p contents-hash="e48523d7c809c0226b8e8c220426eff8cb434fdb00eec0fbf89ffe64acece054" dmcf-pid="fammuaj4ub" dmcf-ptype="general">마리오 게임 특성상 생명 포인트 3개가 주어졌는데 제미나이 1.5 프로와 GPT-4o 모델은 1분도 안 돼 생명 포인트를 모두 소진하며 게임이 끝났다. 1등은 클로드 3.7 모델이었다.</p> <p contents-hash="a0db08d351e6b31910a15dad0ef0176557bfcf827ff2edf518d6e3b245689c6b" dmcf-pid="4Nss7NA8pB" dmcf-ptype="general">연구진은 오픈AI o1과 같은 추론 모델은 슈퍼 마리오와 같은 게임 평가에 활용되는데 적절하지 않았다고 말했다. 추론 모델은 행동 결정에 시간이 걸리는데 마리오 게임의 경우 1초의 차이에 따라 생존에 실패할 수 있기 때문이다.</p> <p contents-hash="23553d36180e2586aa948bdbea073eec9e6feb0798a63a1c45a2602b69c54ade" dmcf-pid="8jOOzjc67q" dmcf-ptype="general">슈퍼 마리오뿐만 아니라 로블록스를 응용한 게임 등을 통해 AI 성능을 평가하는 시도가 이어지고 있다. 앤트로픽은 '클로드 3.7 소네트'를 훈련하기 위해 자사 모델을 게임보이 클래식 '포켓몬 레드'에 참여하도록 했다.</p> <p contents-hash="d20ee6f19450849dd4c7ad0e6083064eaf273bce8ac9ccffcf6a0dc0e838b459" dmcf-pid="6AIIqAkPFz" dmcf-ptype="general">기존에는 수행하지 못했던 태초마을 집 떠나기부터 게임 보스 격인 체육관장도 물리치며 배지를 얻는 등 자체적으로 능력을 향상시키는 모습을 보였다.</p> <p contents-hash="da315b28b29082b8b88a12cc1359714964d9127165d90555754e666956babf76" dmcf-pid="PcCCBcEQz7" dmcf-ptype="general">하지만 슈퍼 마리오처럼 일부 게임의 경우 MMLU 등 기존 벤치마크와는 큰 차이가 있는 만큼 게임이 AI 성능을 제대로 평가하기 어렵다는 한계가 있다는 지적도 나온다. 특히 이번 평가에 활용된 구글 AI 모델의 경우 지난달 공개한 제미나이 2.0이라는 더 좋은 모델이 있어 같은 기준으로 성능 평가가 이뤄졌다고 보기 어렵다.</p> <p contents-hash="c18b8f2d1073f98c5b309d9fe63bf01ae5dc4adcfba55f376cb460bf0db98bd7" dmcf-pid="QcCCBcEQzu" dmcf-ptype="general">하오 AI 랩 연구진은 이번 연구에 대해 "AI 평가에 대한 새로운 관점과 인간이 평가에서 수행하는 진화하는 역할을 연구하는 것"이라며 "게임이 거대언어모델(LLM) 에이전트를 테스트하는 데 있어 도전적이고 역동적인 환경을 제공한다고 믿는다"고 말했다.</p> <p contents-hash="f3ce3fb11611b6e630861a2592674a7ba3e6725e26a12a357dd31c9c8a3794f8" dmcf-pid="xkhhbkDxFU" dmcf-ptype="general">이어 슈퍼 마리오뿐만 아니라 테트리스, 블록 퍼즐 게임 '2048' 등을 활용한 게이밍에이전트도 출시할 예정이라고 전했다.</p> <p contents-hash="7c3e3b9e013bba6584911faad3d37053ee72b578ebd2f352cfec35e4e281ecd0" dmcf-pid="y744r7qyUp" dmcf-ptype="general"><span>☞공감언론 뉴시스</span> alpaca@newsis.com </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴시스. 무단전재 및 재배포 금지.</p> 관련자료 이전 올해는 게임도 ‘좀비’ 전성시대 03-04 다음 [MWC25]AWS, 증가하는 5G 네트워크 효율적으로…가상 RAN 인프라 03-04 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
