언어학습은 예고편…세상을 조립하는 '월드 모델' AI 온다 작성일 12-03 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">'거대언어 모델'에서 '월드 모델'로…AI 패러다임 지각변동<br>메타에서 독립한 'AI대부' 얀 르쾽<br>"물리적인 세상을 이해하지 못하는<br>거대언어 모델은 5년내 구식될 것"<br>중력·저항·가속도 학습하는 AI<br>휴머노이드 로봇·자율차와 연계<br>구글, 최근 월드 모델 연구에 주력<br>'AGI 시대'로 가는 여정 핵심 단계</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="P2ffehrNva"> <figure class="figure_frm origin_fig" contents-hash="49ea32770a0421915286e8dbeb3b6138aa96fced4df7ce02a14be64b1ad4fc1b" dmcf-pid="QV44dlmjSg" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/03/mk/20251203164505069pmps.jpg" data-org-width="1000" dmcf-mid="6mHHpJQ9yN" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/03/mk/20251203164505069pmps.jpg" width="658"></p> </figure> <p contents-hash="38db04abbd0880e7b043add3a46cea0cf40b08e80244387b154eee45452a04a0" dmcf-pid="xZ11zoe4Co" dmcf-ptype="general">테니스 공을 집어 하늘로 던지면 포물선을 그리며 하늘을 비행하다가 곧 땅에 떨어진다. 물이 담긴 컵을 실수로 쳐서 컵이 넘어지면 컵 안에 있는 물이 바닥에 쏟아진다.</p> <p contents-hash="79e44a0271f20f470b9b17724e046c03bee819e2e47c1252219cb9e2b745007d" dmcf-pid="yiLLEtGhCL" dmcf-ptype="general">이러한 일상 속 장면들은 누구나 자연스럽게 알게 되는 내용이자 어린아이라도 세상을 관찰하면서 터득하게 되는 지식이다.</p> <p contents-hash="13ab972eeb9ef5a2863874fb8de1b01e93f369f22d31df9870c3da4d3d245d88" dmcf-pid="WnooDFHlSn" dmcf-ptype="general">그러나 현재 거대언어모델(LLM) 중심 인공지능(AI)은 이 같은 장면들을 완벽히 이해하지 못한다. 언어의 상관관계를 학습해 답변을 생성하는 LLM은 '공을 던진다'와 '떨어진다'의 연관성을 유추해 '공을 던지면 떨어진다'라고 대답할 수는 있지만, 공이 떨어질 때의 가속도나 공기 저항 같은 물리적 정보는 알지 못한다. 언어 중심 학습의 한계다.</p> <p contents-hash="851dfb48e86b29a6710115561c3d24a2af097d717b078cce3871b42105c315fc" dmcf-pid="YLggw3XSvi" dmcf-ptype="general">이 같은 LLM 중심 AI의 한계를 극복하고, 마치 인간처럼 물리적 세계를 이해하는 AI를 만들기 위해 나온 것이 바로 '월드 모델'이다. 텍스트 한계를 넘어 물리적인 세계를 있는 그대로 이해하고, 행동에 따른 미래를 예측할 수 있도록 돕는 게 핵심이다.</p> <p contents-hash="3391ce5a04054bc79171daef44500ef8740cb2a4db1e4296f2bad76a088b6308" dmcf-pid="Goaar0ZvWJ" dmcf-ptype="general">AI 시장 새 패러다임 '월드 모델'</p> <p contents-hash="db1d76fa8705e1cd97fc4deba4d897d819286b182e67448736c74fb73949e93f" dmcf-pid="HgNNmp5TSd" dmcf-ptype="general">월드 모델은 아직 오픈AI의 GPT나 구글의 제미나이처럼 상용화 단계가 아닌 연구개발(R&D) 단계에 가깝지만, 월드 모델에 쏠린 관심과 기술 개발 속도는 매우 뜨겁다. 기존 모델의 한계를 보완하고, 새로운 AI 모델의 패러다임을 이끄는 것이 월드 모델이 될 것이라는 기대감 때문이다.</p> <p contents-hash="62265e00bf4cbc704717d34b946c7a920be0cab12ad0a999af78dd6d3625823b" dmcf-pid="XajjsU1ySe" dmcf-ptype="general">AI 분야 세계 4대 석학으로 꼽히며 메타의 수석과학자로 일하던 얀 르쾽 뉴욕대 교수는 지난 10월 한국을 찾아 "LLM은 5년 내 구식 기술이 될 것"이라고 단언했다. 그는 "우리는 물리적 세계를 이해하고 우리와 함께 일할 수 있는 AI인 월드 모델을 필요로 한다"고 강조했다. 르쾽 교수는 "물리적인 세상을 이해하는 데 있어 현재 AI는 우리 집 고양이보다 덜 똑똑하다"면서 "언어 중심의 현재 AI가 복잡한 작업을 처리하는 데는 능숙해도 오히려 기초적인 물리 현상 이해에는 약점을 보인다"고 지적했다. LLM은 입력된 데이터를 기반으로 다음에 올 단어를 예측해 출력하는 방식이다. 물리적 환경에서 복잡한 행동 순서를 분석하고 다음 행동을 추론하기에는 아직 부족하다는 게 전문가들의 분석이다.</p> <p contents-hash="2f488c327c46ea82de9d18c41178c5e69802dd064add99c44a24ab474fc6f854" dmcf-pid="ZNAAOutWCR" dmcf-ptype="general">세상을 이해하는 인공지능</p> <p contents-hash="3288717b4081611faff31b0d08f1ab29a4325672bfaf7b5481d089647daa02e4" dmcf-pid="5GXXUix2SM" dmcf-ptype="general">월드 모델의 시작은 2018년으로 올라간다. 데이비드 하 구글 연구원과 위르겐 슈미트후버 스위스 루가노대 교수가 펴낸 '월드 모델'이라는 동명의 논문에서 용어가 처음 소개됐다.</p> <p contents-hash="e9de694400d16eda9af1e2376d9b68288a05b537111f9476c4782f63741919b6" dmcf-pid="1HZZunMVyx" dmcf-ptype="general">두 저자는 인간이 감각으로 인지한 추상적인 정보를 바탕으로 세상을 이해하고, 이를 통해 실제 세계에서 행동을 취한다는 점에 착안해 이 같은 방식으로 AI를 구현하려 했다.</p> <p contents-hash="9e76495fc1987d298228973dfc5bcc6698755e83be283c5fcd439d956290dbce" dmcf-pid="tX557LRflQ" dmcf-ptype="general">논문이 설명한 월드 모델의 구조는 간략히 보면 시각을 담당하는 V(Vision), 기억을 담당하는 M(Memory), 행동으로 연결하는 C(Controller)의 'V-M-C'로 구성된다.</p> <p contents-hash="4a5f3e7806f8af95929082ec22ecab7edd7ff6e4a3ee36c23e0135f56a562abf" dmcf-pid="FZ11zoe4yP" dmcf-ptype="general">V는 이미지와 같은 인풋 데이터를 저차원 표현으로 압축해 저장하는 역할을 한다. 이미지를 100% 복제하는 것이 아닌 주요 특징만을 포착해 크기를 줄여 저장하는 방식으로, 인간이 시각 정보를 추상적으로 기억하는 것과 비슷하다.</p> <p contents-hash="6dfaa3fb6ff3536def3e236e4d731c27612ec9707b642322d849ea1ca1075fdc" dmcf-pid="35ttqgd8l6" dmcf-ptype="general">M에서는 이렇게 받아들인 데이터를 기반으로 패턴을 학습하고, 각 행동으로 이어질 확률 등을 파악해 다음에 어떤 상황이 발생할지 예측하는 역할을 한다. 월드 모델의 두뇌인 셈이다. 이 과정에서는 결과물을 단일 값으로 출력하는 것이 아니라 혼합 분포 형태로 표현하는데, 이는 현실 세계의 불확실함을 반영하는 것이기도 하다. 마지막 C에서는 앞에서 축적된 내용을 기반으로 행동을 결정하게 되며, 데이터 처리와 예측 과정은 앞선 단계에서 진행되기에 C는 상대적으로 작은 모델로 구성된다.</p> <p contents-hash="1644ffced3c6d1b6de6349fc70fad80903ebf8148757d6146d5c392c30007a30" dmcf-pid="01FFBaJ6y8" dmcf-ptype="general">글로벌 빅테크들의 AI 모델 개발 패러다임도 자연스럽게 월드 모델로 흐르고 있다.</p> <p contents-hash="f35bc23c8d5f4a943a1ff2e7d0d3bf79a4ab0dd9c5d8247c9a8903f5a77fbe2f" dmcf-pid="pt33bNiPv4" dmcf-ptype="general">로봇·자율주행 기술과 연계</p> <p contents-hash="1bc973e8b18b79bcdbf5511c4f6f4098cbf12ea17a8433fb75a5a58860a873d5" dmcf-pid="UF00KjnQTf" dmcf-ptype="general">GPT 돌풍 이후 많은 기업이 방대한 텍스트를 기반으로 학습한 LLM 개발에 나섰다면, 그다음으로는 사진과 영상까지 이해하는 거대멀티모달모델(LMM)이 부상했다.</p> <p contents-hash="22d1a04ec54206c1a8fe1249ea81850ab7be7a8e98cf1463d7f02fbc79db440a" dmcf-pid="u3pp9ALxCV" dmcf-ptype="general">차기 격전지는 월드 모델이다. 월드 모델의 주요 강자로는 르쾽 교수가 연구를 이끌던 메타와 함께 구글, 월드랩스 등이 꼽힌다.</p> <p contents-hash="db7994338468965931bdeb2b41095f295530adc803d4f3e7a404e60984017d8c" dmcf-pid="7yYY3e6bC2" dmcf-ptype="general">르쾽 교수는 월드 모델을 위한 새로운 아키텍처인 '제파(JEPA·Joint-Embedding Predictive Architecture)'를 제시하면서 픽셀 단위의 정밀한 정보 없이 추상적인 특징을 기반으로 행동을 예측하는 월드 모델을 개발했다. 이미지 기반 I-JEPA와 영상 기반 V-JEPA가 메타가 내놓은 결과물이다.</p> <p contents-hash="c2713ef3d6db8f7aba5def41dd6d079a77d3899dbc74df3f1b0257e77485628f" dmcf-pid="zWGG0dPKW9" dmcf-ptype="general">올해 메타가 선보인 V-JEPA2의 경우 인간이 물체와 상호작용하는 방식, 물리적 세계에서 물체가 움직이는 방식 등과 관련된 영상 데이터를 학습했다. 특정 행동에 대한 예측을 수행하고, 이를 제어할 수 있도록 하는 게 핵심이다.</p> <p contents-hash="7016e0864f6d69619c7f219b60eb83860bc2de22a5ae45708d101817b804e810" dmcf-pid="qYHHpJQ9TK" dmcf-ptype="general">이러한 월드 모델은 물리적 세계에서 작동하는 로봇처럼 피지컬 AI 영역으로 연계된다. 메타는 로봇에 V-JEPA2 모델을 적용한 후 컵을 특정 장소에 놓는 실험을 진행했다. 이때 컵을 집고 있는 현재 단계의 이미지와 컵이 목표 장소에 놓인 결과 이미지만 제공한 후, V-JEPA2가 연산을 통해 중간 행동을 예측해 수행하게끔 했다. 그 결과 메타는 해당 행동에 대한 학습 없이도 로봇이 65~80%의 성공률을 보였다고 설명했다.</p> <p contents-hash="eab33653a978103996dc1b5705af9d96936d7ed9135b732aede9f6acd297c585" dmcf-pid="BGXXUix2vb" dmcf-ptype="general">구글 딥마인드도 올해 8월 차세대 월드 모델인 '지니3'를 발표하는 등 월드 모델 연구에 힘을 쏟고 있다. 구글은 발표 당시 "월드 모델은 AGI(범용 AI)로 가는 여정의 핵심적인 단계"라며 "월드 모델을 통해 풍부한 시뮬레이션 환경에서 AI 에이전트를 훈련할 수 있도록 한다"고 설명헀다.</p> <p contents-hash="d70d8c875020d88dd59b0cd97e4710ae7b84a3e8426a3be830646c4274d414fe" dmcf-pid="bHZZunMVhB" dmcf-ptype="general">구글의 지니3는 자연어 프롬프트 입력을 통해 화산, 산맥, 해저, 강을 비롯한 다양한 자연환경을 포함한 물리적 세계를 구현해낸다. 이렇게 생성된 3D 공간은 단순히 순간을 모사하는 것을 넘어 시간의 흐름과 장소 변화에 따른 사물 움직임, 빛의 방향 등을 마치 현실 세계처럼 생성할 수 있다.</p> <p contents-hash="a02f2f8ffcb08008118ce0f016477a22d856b57205affae6452e05a0b1ff6891" dmcf-pid="KX557LRfvq" dmcf-ptype="general">이용자는 지니3로 생성한 세계를 방향키를 눌러 직접 탐험할 수 있으며, 이때 공간을 돌아다니더라도 공간의 3D 이미지는 일관성을 유지한다. 현재 지니3는 최대 720픽셀의 해상도로 수 분가량의 가상 세계 생성을 지원한다.</p> <p contents-hash="1f225855664502479278d5bd73c73e4464be7acf0503e06529a145ac01e66219" dmcf-pid="9Z11zoe4Wz" dmcf-ptype="general">'AI 대모'로 불리는 페이페이 리 미국 스탠퍼드대 교수의 스타트업 월드랩스도 강력한 월드 모델 기업이다. 지난달 월드랩스가 발표한 모델 '마블'은 텍스트나 사진, 동영상을 입력하면 3D 환경을 생성할 수 있는 AI다. 현실 세계를 관찰한 데이터를 기반으로 하는 마블은 일관성을 유지하는 3D 환경을 생성하며, 해당 환경에서 이용자가 AI로 추가 편집을 할 수 있는 기능까지 구현했다. 이를 활용할 경우 그동안 3D 플랫폼에서 사물을 배치하면서 게임 맵을 만들던 개발자가 텍스트 프롬프트를 통해 원하는 3D 게임 맵을 생성할 수 있다.</p> <p contents-hash="377a7ddc914fb13aa183ec5c4ebfc77e82c4451b888372217e13f6fc665f8079" dmcf-pid="25ttqgd8y7" dmcf-ptype="general">오픈AI도 월드 모델 참전 예고</p> <p contents-hash="ef514e484275d6f8413d3f2346d1fabd676b45693d46e6ed075f97868959306b" dmcf-pid="V1FFBaJ6Cu" dmcf-ptype="general">LLM 시장을 장악한 오픈AI는 다른 기업들처럼 별도의 월드 모델을 공개하지 않았지만, 현존 최고 수준의 영상 생성 모델인 '소라'를 갖고 있다. 지난해에는 게임 영상 공유 플랫폼 '메달'에 5억달러 규모 인수 제안을 했다는 사실이 최근 밝혀지기도 했는데, 이처럼 영상 데이터 확보에 나섰던 배경에는 월드 모델을 위한 기반을 마련하려는 게 아니냐는 분석이 나온다.</p> <p contents-hash="a704ffdca6d1a4cd3aa02cdbed6be06ce4e8e73c750bc997f08b9eac1abf382c" dmcf-pid="fb99xOEovU" dmcf-ptype="general">업계에서는 물리적 세계로 AI가 확장하는 과정에서 월드 모델이 더 큰 역할을 할 것으로 보고 있다. 월드 모델을 사용해 제작한 가상 세계에서 마치 현실처럼 AI 에이전트들을 학습시킬 수 있으며, 메타의 실험에서 볼 수 있듯 직접 물리적인 기계에 월드 모델을 적용할 수도 있다. 대표적으로 엔비디아는 올해 초 '월드 파운데이션 모델(WFN)'이라 부르는 '코스모스'를 선보였는데, 물리적 세계와 상호작용하는 AI 시스템으로 로봇과 자율주행차 학습에 활용된다. 한 정보기술(IT) 업계 관계자는 "뛰어난 월드 모델이 구현되기까지는 상당한 시간이 걸릴 것으로 예상되지만, AI가 세상과 상호작용하는 방식에 근본적인 변화를 가져올 것으로 기대된다"고 강조했다. </p> <p contents-hash="5b354fdca10d473440add590e794aa409a986d3eccc300e7bcc7a863dd376ed8" dmcf-pid="4K22MIDgCp" dmcf-ptype="general">월드 모델</p> <p contents-hash="a03ae289ce8b27cf0163364ee385227bae44c7bb06693ef707551e1c1129c45a" dmcf-pid="89VVRCwaT0" dmcf-ptype="general">AI가 현실 세계의 물리 법칙, 공간, 시간, 상호작용 등을 이해하고 시뮬레이션하는 모델. 인간처럼 직관적이고 다양한 생각을 할 수 있는 게 특징. 기존 AI가 말을 잘 하는 AI라면 월드 모델은 상황을 이해하고 실제 행동까지 결정.</p> <p contents-hash="4a41172a73d32047110028f1e75733eac493b48485e019cc18abf70d6e0399d9" dmcf-pid="62ffehrNh3" dmcf-ptype="general">[정호준 기자]</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 [AWS 리인벤트]AWS “차체 칩과 플랫폼으로 ‘가성비’ AI 개발·운영 지원” 12-03 다음 마사회 감사실, 한국투명성기구 선정 제25회 '투명사회상' 수상 12-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
