"데이터 무한 투입 시대는 끝" '챗GPT 아버지'가 보는 AI의 미래[김인엽의 퓨처 디스패치] 작성일 11-27 27 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI·앤스로픽 등 텍스트 고갈 직면<br>'합성 데이터'까지 쓰는 고육지책<br>단순 암기 넘어 직관 갖는 '가치 모델'<br>물리세계 이해하는 '월드모델' 급부상<br>AI 칩 시장 추론 중심으로 바뀔수도</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="FIb4nWaeyQ"> <figure class="figure_frm origin_fig" contents-hash="b1f45e011d1354d337d3b7b901487c053f410a504a05083ae72d2e29508fecfd" dmcf-pid="3CK8LYNdvP" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/27/ked/20251127090551311fsrh.jpg" data-org-width="1200" dmcf-mid="970y0i71Tb" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/27/ked/20251127090551311fsrh.jpg" width="658"></p> </figure> <p contents-hash="2452d93744244eb410800bde5eefd3031537160d8724ef0fcb469e6c446d0a74" dmcf-pid="0h96oGjJT6" dmcf-ptype="general">"지난 5년간 '스케일링의 법칙'이 방 안의 모든 공기를 빨아들였습니다. 너나 할 것 없이 모두가 같은 행동만 하고 있다는 뜻입니다."</p> <p contents-hash="05201f04f887582f6366ea71a1bfd7d280f8cf63f5ce5f0dc8619e86dd3a8990" dmcf-pid="pl2PgHAiS8" dmcf-ptype="general">오픈AI의 공동 창업자이자 챗GPT 개발 주역인 일리아 수츠케버 세이프슈퍼인텔리전스 최고경영자(CEO)는 최근 실리콘밸리 인공지능(AI) 업계의 분위기를 이렇게 평가했다. 데이터와 컴퓨팅 자원을 투입하면 이에 비례해 AI모델 성능이 개선된다는 스케일링의 법칙에 따라 빅테크들이 천편일률적으로 막대한 자원을 투입하고 있다는 지적이다.</p> <p contents-hash="739395377e3dbc061702ab1ef57767ac7dda0796a66680dec726e07c74a20367" dmcf-pid="USVQaXcnl4" dmcf-ptype="general">수츠케버 CEO는 현대적인 딥러닝 기술의 시발점인 '알렉스넷'을 제프리 힌턴 캐나다 토론토대 교수와 함께 개발했다. 2022년 챗GPT 모먼트의 주역이기도 하다. 수츠케버 CEO는 "데이터는 유한하다"라며 챗GPT를 비롯한 빅테크들이 벌이는 야만적인 힘(brutal force)의 경쟁을 끝낼 활로를 찾고 있다.</p> <p contents-hash="05f385565df6fe4515b634cf7dee833e1aed87667b5ef9034e1b093679d4ac8b" dmcf-pid="uvfxNZkLhf" dmcf-ptype="general"><strong><span> 오픈AI도 부딪힌 스케일링의 벽</span></strong></p> <p contents-hash="bd069e193bfab5e2714cd3ea4b07d46a80165b966729b9b83f1d782ba6e91848" dmcf-pid="7T4Mj5EoWV" dmcf-ptype="general">26일(현지시간) 테크업계에 따르면 AI 개발사들은 데이터의 벽에 부딪히며 AI 모델 개선에 어려움을 겪고 있다. 디인포메이션은 최근 오픈AI가 차세대 AI모델인 '오리온' 개발이 어려움을 겪고 있다고 전했다. 오픈AI 연구자들은 "대규모언어모델(LLM)이 사용할 수 있는 고품질 텍스트 및 기타 데이터의 공급이 줄어들고 있다"고 전했다. "우리는 데이터 고갈 시점에서 그리 멀지 않은 곳에 있다(지난해 10월)"는 다리오 아모데이 앤스로픽 CEO의 경고가 현실이 돼가고 있느 셈이다. </p> <p contents-hash="085b1e5f29b69756c78e8c0eb45aba2177596ac44caa54a5e48130094c38b705" dmcf-pid="zAF76sMVv2" dmcf-ptype="general">웹 상의 데이터가 고갈될 조짐을 보이자 빅테크들은 알고리즘으로 만들어낸 '합성 데이터'까지 동원하고 있다. 의료나 금융처럼 개인정보 문제로 실제 데이터를 구하기 힘든 분야에서 주로 쓰이는 고육지책이다. 수츠케버는 이러한 흐름에 대해 "단순히 규모를 키우는 접근법은 한계에 다다랐다"며 "지금은 다시 근본적인 '연구의 시대'로 돌아가야 할 때"라고 강조했다. 연구의 시대는 2012년 이미지넷 개발부터 2020년 트랜스포머 모델 발명 이전까지 AI 작동방식을 연구하던 시점을 말한다.</p> <p contents-hash="e41ed51615ab8b7c92889a3fddadd84e5e633421e399cbac30e6d11d874e8c3c" dmcf-pid="qc3zPORfT9" dmcf-ptype="general">수츠케버는 스케일링 경쟁에서 벗어나 완전히 다른 기술적 접근을 시도하고 있다. 핵심은 AI에게 인간의 직관 혹은 감정과 유사한 '가치 함수'를 가르치는 것이다. 기존 트랜스포머 모델이 수만 개의 체스 기보를 통째로 암기해 다음 수를 확률적으로 예측하는 방식이라면, 가치 함수가 적용된 AI는 경기 도중 말 하나를 잃었을 때 "뭔가 잘못됐다"라고 스스로 판단할 수 있다.결과를 끝까지 보지 않아도 과정의 좋고 나쁨을 직관적으로 이해하는 '효율적 지능'을 구현하겠다는 것이다.</p> <p contents-hash="9be084d2f519de105d35a8a1c0131f5e5a71bcd5bf9691352f41ce79918c863a" dmcf-pid="Bk0qQIe4vK" dmcf-ptype="general">이러한 움직임은 이미 빅테크 전반으로 확산 중이다. 최근 대폭 성능을 개선한 구글의 제미나이3 프로가 대표적이다. 구글은 '시연 기반 검색증강생성(DRAG)' 기술을 통해 스케일링 법칙의 한계를 돌파했다. 검색증강생성(RAG)는 AI모델이 기존에 학습한 데이터가 아닌 질문을 받으면 자체 웹 검색을 해서 답변을 생성하는 기술이다. DRAG는 AI에게 우수 답변 예제를 미리 학습시키고 이를 RAG 결과와 비교해 정확도를 높인다. 또 하나의 기술은 '반복적 시연 기반 검색증강생성(IterDRAG)'로 LLM이 한 번에 이해하기 힘든 복잡한 질문을 여러 개의 하위 질문으로 쪼개 처리하는 방식이다.</p> <p contents-hash="9df98013c88101dd31e61cd7186125d7a4e1bdd370a45014e195038335d35a45" dmcf-pid="bEpBxCd8Tb" dmcf-ptype="general"><strong><span> "LLM은 고양이보다 멍청"</span></strong></p> <p contents-hash="7ddc2516bf9dd467102bfedd1c471c930c89855a7183e2b3ddf46409463ad3d0" dmcf-pid="KDUbMhJ6yB" dmcf-ptype="general">아예 텍스트 데이터의 세계를 넘어 실제 세계를 학습하려는 시도도 이뤄지고 있다. 'AI의 4대 천왕'으로 불리는 얀 르쿤 메타 수석과학자는 올해 연말 회사를 떠나 새로운 '월드 모델' 스타트업을 만든다. 르쿤 수석과학자는 그간 "고양이가 LLM보다 똑똑하다"라며 텍스트 기반 학습의 한계를 지적해왔다.</p> <p contents-hash="6cd16347fb11720787136a996d8c69b225f8813c52ba1eaed6dd3797a5f2f44f" dmcf-pid="9wuKRliPvq" dmcf-ptype="general">'AI 대모'로 불리는 페이페이 리 스탠퍼드대 교수는 지난 12일 3차원(3D) 가상 공간을 구축하는 월드모델 '마블'을 상용화하며 공간 지능 시장을 열었다. </p> <p contents-hash="9341b1babc209edebb156f19670960c515b334021a5b96a674976bfec1515d15" dmcf-pid="2r79eSnQCz" dmcf-ptype="general">이처럼 AI 개발 방식이 변화한다면 AI 반도체 역시 지각변동을 맞을 수 있다. 르쿤 수석과학자와 리 교수가 강조하는 월드모델이 본격화한다면 엔비디아의 GPU 시장은 더욱 커질 것으로 전망된다. 레브 레바레디언 엔비디아 부사장은 지난 8월 파이낸셜타임즈(FT) 인터뷰에서 "물리 세계를 이해하고 물리 세계에서 작동할 수 있는 지능을 만들 수 있다면 100조달러(약 14경원)의 가치가 창출될 것"이라고 말했다.</p> <div contents-hash="3b780b360fb07253b83216c2f3a34e04baa5efeb69f3f70c49d60d09242e2c54" dmcf-pid="Vmz2dvLxS7" dmcf-ptype="general"> 다만 수츠케버가 추구하는 사전학습보다 추론이 더 중요한 AI모델이 주류가 된다면 AI칩의 무게중심이 학습에서 추론으로 이동할 가능성이 높다. 실리콘밸리 한 벤처캐피털(VC) 파트너는 "무작정 파라미터(매개변수) 사이즈를 키우는 경쟁이 끝나면, 적은 자원으로 똑똑하게 구동되는 온디바이스 AI와 추론 칩 시장이 폭발적으로 성장할 것"이라고 전망했다. <br> <div> <strong>실리콘밸리에는 부자와 천재가 많습니다. 이들이 만나면 미래가 만들어집니다. 현장에서 보고 듣고 느끼는 미래의 이야기를 '퓨처 디스패치'에서 전해드립니다. 기자 페이지를 구독해주세요.</strong> </div> </div> <p contents-hash="b6afe6d11c0ece3a977ff15f8a4a70bde524e84457590fea84df0b5d692e3d9c" dmcf-pid="fsqVJToMhu" dmcf-ptype="general">실리콘밸리=김인엽 특파원 inside@hankyung.com</p> </section> </div> <p class="" data-translation="true">Copyright © 한국경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 케어젠 ‘CG-P5’ 임상 일정 잇단 지연…개발 역량 신뢰 ‘흔들’ 11-27 다음 발사체 신뢰도 입증한 한국...위성 발사 시장에 도전장 내민다[뉴 스페이스 시대] 11-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
