화면 바뀌어도 놓치지 않는다… UNIST, 다중 인물 3D 복원 AI ‘멀티썸즈’ 개발 작성일 10-15 67 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">백승렬 교수팀, 장면 전환 전후 공유 공간 구축해 인물 추적<br>신원 오류 62%·관절 오차 31% 감축…스포츠 판정·VR 활용 기대</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="4MwA2vQ9yz"> <figure class="figure_frm origin_fig" contents-hash="37fb0336cfb6a07e8283d0d2ee3962ea2b27b107dd450f77c1e55677342fdd4d" dmcf-pid="8RrcVTx2y7" dmcf-ptype="figure"> <p class="link_figure"><img alt="멀티썸즈는 컷을 이어붙여 만드는 영화, 스포츠 중계 영상에서 인물의 움직임을 복원하는 데 쓸 수 있다. AI생성이미지=UNIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/15/seouleconomy/20261015120150223kghb.png" data-org-width="1200" dmcf-mid="fbnR3EqFyq" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/15/seouleconomy/20261015120150223kghb.png" width="658"></p> <figcaption class="txt_caption default_figure"> 멀티썸즈는 컷을 이어붙여 만드는 영화, 스포츠 중계 영상에서 인물의 움직임을 복원하는 데 쓸 수 있다. AI생성이미지=UNIST </figcaption> </figure> <p contents-hash="831230d4bfc99d68c3db9b831874e75d69a7c4f1550dd003407a91ce8fcd55b3" dmcf-pid="6emkfyMVCu" dmcf-ptype="general">영화나 스포츠 중계처럼 화면이 수시로 바뀌는 영상에서도 여러 사람의 움직임을 끊김 없이 입체로 구현하는 인공지능(AI) 기술이 나왔다.</p> <p contents-hash="56b4cb1757bee9bb95b600d3c7e7509fa8057645e98d9f0b5cae2339a821bcb9" dmcf-pid="PdsE4WRfvU" dmcf-ptype="general">울산과학기술원(UNIST) 인공지능대학원 백승렬 교수팀이 화면 전환이 잦은 편집 영상에서도 여러 사람의 3차원(3D) 체형과 움직임을 일관되게 추적·복원하는 인공지능 기술 ‘멀티썸즈(Multi-THuMBS)’를 개발했다고 15일 밝혔다.</p> <p contents-hash="d0e9def199fbbe708eed7f5256d7e7f12ec9c4d741cf1c5b1ec21e3803a8e030" dmcf-pid="QJOD8Ye4Tp" dmcf-ptype="general">3D 인체 복원은 영상 속 인물의 체형과 자세, 위치를 분석해 입체 모형과 동작 데이터를 만드는 기술이다. AI를 적용하면 다중 카메라 장비 없이 일반 영상 하나만으로 입체 복원이 가능하다.</p> <p contents-hash="39cf4063d158644736d63b4ca3910d8999560079fed9896dfe42119cf7423e09" dmcf-pid="xiIw6Gd8C0" dmcf-ptype="general">하지만 기존 기술은 카메라가 연속해서 움직이는 단일 화면에 의존해 여러 각도의 화면을 이어 붙인 영화나 방송, 스포츠 중계 영상에는 적용하기 어려웠다. 화면이 전환되면서 시점과 카메라 위치가 급변하면 정면으로 보이던 인물의 옆모습을 다른 사람으로 오인하거나, 화면 구도 변화를 실제 이동으로 잘못 계산해 인물이 엉뚱한 위치에 복원되는 한계가 있었다.</p> <p contents-hash="5a2d34f8fabb7e2bbf0f2cc6fe81ac455bb3c8bed49c80e0d3968f9489e6bd67" dmcf-pid="yZVBSeHlC3" dmcf-ptype="general">연구팀은 화면이 바뀌는 순간 직전과 직후 이미지의 배경과 카메라 위치를 하나의 좌표계로 묶는 ‘공유 3D 공간’을 구축해 문제를 해결했다. 각 장면에서 따로 복원한 인체 모형의 위치와 몸 방향, 카메라 각도를 이 공간에 단계적으로 맞춰 배치하는 원리다.</p> <p contents-hash="e4459888be46a10efa02607dbe44dd5f63dabcbaafef7d9fe76ed7d32f6ab8d2" dmcf-pid="W5fbvdXSSF" dmcf-ptype="general">이어 같은 공간에 놓인 인물 간의 3D 거리에 옷차림, 자세 정보를 결합해 장면 전환 전후의 동일 인물을 일대일로 연결했다. 이때 두 인물의 거리가 1m를 넘으면 연결을 차단해 새로 등장하거나 사라진 사람을 기존 인물과 혼동하는 오류를 막았다. 마지막으로 시간 순서에 따라 관절의 이동 경로를 다듬어 관절 위치가 튀거나 발이 바닥에서 미끄러지는 현상을 잡았다.</p> <p contents-hash="0c554bf73f58819d7752c36e555a4abd0ce529897de93d6217265455bcae5337" dmcf-pid="Y14KTJZvTt" dmcf-ptype="general">성능 검증 결과 다중 카메라 동작 데이터(에고휴먼스)에 장면 전환 편집을 적용한 실험에서 멀티썸즈는 기존 최고 성능 기술(GVHMR)보다 관절 위치 오차를 약 31%, 동작 가속도 오차를 약 44% 줄였다. 같은 사람을 다른 사람으로 잘못 인식하는 신원 전환 오류는 약 62% 감소했고, 카메라 위치 추정 오차도 절반으로 줄었다.</p> <p contents-hash="b3623edc57b653f46a81e4ba5f0349b160b677d5057726c9945109d2e6637799" dmcf-pid="G3PVYLtWl1" dmcf-ptype="general">실제 영화 데이터(AVA)와 시트콤 ‘프렌즈’, ‘빅뱅이론’ 영상에서도 높은 정확도를 보였다. 화면 전환 전후 관절 위치가 일치하는 비율은 90.7%로 비교 기술(62.7%)을 크게 앞섰다. 동작이 떨리는 현상은 약 5분의 1로, 발이 바닥에서 미끄러지는 오류는 절반 이하로 감소했다.</p> <p contents-hash="997d8f9b7b6103d4b26cd99bcc9c8b956918f54694f95245bb31cdbc4107327a" dmcf-pid="H0QfGoFYW5" dmcf-ptype="general">이번 기술을 활용하면 별도의 특수 촬영 장비 없이 기존 영화·방송·스포츠 중계 영상만으로 다수의 3D 동작 데이터를 대량 구축할 수 있다. 축구 오프사이드 판정 등 정밀 스포츠 분석과 가상·증강현실(VR·AR) 콘텐츠, 디지털 휴먼 제작, 동작 생성 AI 학습 데이터 확보 등에 폭넓게 쓰일 전망이다.</p> <p contents-hash="e5549185a0265c5ff11464735a9e142d314a1051258cbaeeab7014ef2a40373f" dmcf-pid="Xpx4Hg3GvZ" dmcf-ptype="general">제1저자인 온정완 연구원은 “현재는 화면이 바뀌어도 같은 물리적 공간을 비추는 영상에 적용할 수 있다”며 “전혀 다른 장소로 넘어가는 장면에서도 인물을 지속해서 추적하는 기술을 후속 연구로 개발할 계획”이라고 말했다.</p> <p contents-hash="42545ed4aefa80fe448c7b9e442e55295db1d6f75b3b827dd5a37a4085cc47be" dmcf-pid="ZUM8Xa0HWX" dmcf-ptype="general">백승렬 교수는 “기존 3D 복원 기술은 장면이 바뀌는 순간 사람을 놓치곤 했다”며 “이번 기술은 편집 영상에서도 여러 사람의 움직임을 3D로 끊김 없이 복원할 수 있어 다양한 디지털 콘텐츠 산업에 기여할 것”이라고 밝혔다.</p> <p contents-hash="a3f2ae8e571cb5f860e37c47243d3cc57d85db67ae85c20f269b89c2ddc81f35" dmcf-pid="5uR6ZNpXCH" dmcf-ptype="general">이번 연구에는 UNIST 무함마드 살만 알리, 무니브 에이 칸, 박선우, 문인웅 연구원과 영국 버밍엄대 장형진 교수, CJ AI·DT 부문 연구진이 공동 참여했다. 연구는 과학기술정보통신부 한국연구재단(NRF), 정보통신기획평가원(IITP), CJ의 지원으로 수행됐으며, 지난 9월 스웨덴 말뫼에서 열린 세계 3대 컴퓨터 비전 학회 ‘유럽컴퓨터비전학회(ECCV 2026)’에서 발표됐다.</p> <p contents-hash="8bd58d83f8316e96b2a4cc48abda5face44c205fc261a32358f61d31ec092e5b" dmcf-pid="17eP5jUZyG" dmcf-ptype="general">울산=장지승 기자 jjs@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 싱가포르 문 두드린 이글루코퍼레이션, AI 하이브리드 보안으로 해외 진출 가속 10-15 다음 ‘화장실 이용 후 손씻기’ 실천율 소폭 증가…손씻는 시간은 여전히 짧아 10-15 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
