온더플라이, 웹3.0 AI 에이전트 답변부터 실행 결과까지 검증 [서울AI허브 2027] 작성일 10-28 49 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GmKSUqOcMO"> <div contents-hash="927a7641ac984f44c4927f273fcddced8d346276ea0a91ba3d825333113892bd" dmcf-pid="H6SdmCQ9ns" dmcf-ptype="general"> '서울 AI 허브 2027' 기획시리즈는 서울 AI 허브에 입주한 스타트업들의 인공지능(AI) 기술과 서비스, 사업화 현황 및 차별점을 살펴봅니다. 산업 현장에서의 적용 가능성과 성장 가능성을 짚어보고, 대한민국 AI 생태계의 한 축을 이루는 이들의 기술과 서비스를 소개합니다. [편집자 주] </div> <figure class="figure_frm origin_fig" contents-hash="f873fb6e7ef88434c51f9cc54e1d41f898bb27af6c1e39dadc57f9f58415ebe7" data-idxno="454648" data-type="photo" dmcf-pid="XPvJshx2Jm" dmcf-ptype="figure"> <p class="link_figure"><img alt="온더플라이 CI / 온더플라이" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/28/552810-SDi8XcZ/20261028115006565nule.png" data-org-width="232" dmcf-mid="YOc9LNztiI" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/28/552810-SDi8XcZ/20261028115006565nule.png" width="658"></p> <figcaption class="txt_caption default_figure"> 온더플라이 CI / 온더플라이 </figcaption> </figure> <p contents-hash="ee52e2e14febf030a9be5ad5dd71a1fe5301abc8cfd0dfa224808692cb14804b" dmcf-pid="ZQTiOlMVdr" dmcf-ptype="general">온더플라이는 웹3.0 환경에서 거대언어모델(LLM) 에이전트의 응답과 도구 사용, 온체인 실행 결과를 평가·검증·감사하는 '트러스트풀 AI 에이전트'를 통해 AI 에이전트의 신뢰성을 관리하고 있다. <strong>기 업 명</strong><strong>대표자명</strong><strong>설립연도</strong><strong>투자단계</strong><strong>주요제품</strong><strong>사업분야</strong><strong>기술분야</strong><strong>주요성과</strong><strong>협업유형</strong><strong>도입단계</strong><strong>타깃시장</strong> </p> <p contents-hash="35256becd298830df3d2b26ca668f1526a770ccfe02d476057fafde4f4e42ad5" dmcf-pid="5xynISRfew" dmcf-ptype="general"><strong>홈페이지</strong> ※ 기업 현황은 2026년 9월 기준입니다 </p> <p contents-hash="aa11fae6858bda19cc67a22af4c0a350a2c65f0547024d41791ec55ddb65c621" dmcf-pid="1MWLCve4dD" dmcf-ptype="general"><strong>응답부터 온체인 실행 결과까지 검증하는 '트러스트풀 AI 에이전트'</strong></p> <p contents-hash="123fff5521c4c5cf5674ce3cbd3d1968ae76cc2c9937af35847527e71dae67ae" dmcf-pid="tRYohTd8dE" dmcf-ptype="general">온더플라이의 대표 서비스 '트러스트풀 AI 에이전트(Trustful AI Agent)'는 웹3.0(Web 3.0) 기업이 운영하는 LLM 에이전트의 신뢰성을 검증·평가·감사하는 어슈어런스 서비스다. 고객지원과 컴플라이언스, 트레이딩, 온체인 실행 등 실제 업무에 투입되는 에이전트가 신뢰할 수 있는 수준인지 확인하는 데 초점을 맞췄다.</p> <p contents-hash="eaab32348cfc8b0ece87a3f8d04b53d45297b8fadea6dd73d4e31831c8587561" dmcf-pid="FeGglyJ6Mk" dmcf-ptype="general">서비스는 '검증·평가·감사'의 3가지 영역으로 구성된다. 에이전트가 생성한 응답의 출처와 정확성을 확인하고 도메인 특화 테스트셋과 평가 하네스를 활용해 성능 향상과 품질 저하 여부를 지속적으로 측정한다. 감사 과정에서는 에이전트가 어떤 입력을 받고 어떤 도구를 사용했는지, 어떤 판단 과정을 거쳐 결과를 냈는지를 기록한다. 이를 규제 대응이나 내부 통제 과정에서 활용할 수 있는 증빙으로 남기는 구조다.</p> <p contents-hash="4e864ad66c80bb436a5cbec8cc4bae26cecc857515f6d6cb6b1ea1a896013f0b" dmcf-pid="3dHaSWiPic" dmcf-ptype="general">핵심은 코드 기반 그레이더와 'LLM-as-a-judge', 전문가 기준을 결합한 3종 평가 체계다. 기계적으로 판정할 수 있는 항목은 코드로 확인하고 서술형 판단은 LLM 평가로, 도메인별 판단은 전문가 기준으로 보완해 평가 근거를 설명할 수 있도록 했다.</p> <p contents-hash="f5c3e1b869cbd6ca5fc17b57811c9b4fc078025a9706898c017c8e2a169a9ba8" dmcf-pid="0JXNvYnQMA" dmcf-ptype="general">LLM 에이전트의 비결정성도 별도로 측정한다. 동일한 입력에도 결과가 달라질 수 있다는 점을 고려해 한 번이라도 성공할 확률인 'pass@k'와 반복적으로 성공하는 정도를 나타내는 'pass^k'를 함께 측정해 단발성 성공과 일관성을 구분한다.</p> <p contents-hash="512ad87de44eb467d39523c969de9037f191cc6389c8562a5c0714aecfe021d8" dmcf-pid="piZjTGLxRj" dmcf-ptype="general">웹3.0 환경에 특화된 온체인 결과 검증도 제공한다. 체인 포크 시뮬레이션 환경에서 에이전트가 실제 트랜잭션을 실행하도록 한 뒤 잔고와 스마트컨트랙트 상태 변화를 확인해 응답 내용이 아니라 실제 실행 결과를 검증한다. 서명 한도와 화이트리스트, 키 권한 분리 등 트랜잭션 정책도 함께 점검한다. 에이전트가 잘못된 판단으로 비가역적인 온체인 작업을 수행하는 위험을 사전에 확인하려는 것이다.</p> <p contents-hash="76c2d92d720d008b7f8e4efa7899203017ec2b5c8f5936adcb237496d005c73a" dmcf-pid="Un5AyHoMdN" dmcf-ptype="general">현재는 국내 대형 가상자산 거래소 A사와 LLM 에이전트 어슈어런스 기술검증(PoC)을 진행하고 있다. 고객지원과 컴플라이언스 영역에 적용된 에이전트를 대상으로 도메인 평가셋을 구축하고 응답의 근거와 정확성, 실행 이력을 검증하고 있다. 언더파랩, 버블쉐어와도 업무협약을 맺고 AI·LLM 에이전트 도입 자문과 평가 기준 설계를 진행했다. 웹3.0에서 확보한 검증 방법론을 다른 산업과 서비스에 적용할 수 있는지도 함께 확인하고 있다.</p> <p contents-hash="3cf909300ce219f1e07c7a9ccfe7861c87c852d9baf17592df781d816f426940" dmcf-pid="uL1cWXgRna" dmcf-ptype="general"><strong>일회성 검증 넘어 지속형 AI 어슈어런스로 확장</strong></p> <p contents-hash="eddd91b7d03415273fb0b841308c127178a1c8a6c5e4d21fb48947d339509593" dmcf-pid="7RYohTd8ig" dmcf-ptype="general">온더플라이는 2024년 5월 중소벤처기업부 예비창업패키지에 선정된 뒤 같은 달 법인을 설립했다. 같은 해 10월 MVP를 출시하고 초기 고객사 2곳과 PoC를 진행했다. 2025년에는 매출 1억5000만원을 기록해 전년 대비 약 300% 성장했다. 제품 커넥터 10종을 운영하고 있으며 회사에 따르면 서비스 가용성 99.9% 수준을 유지하고 있다.</p> <p contents-hash="afa63f18246705abe5aa89aee318dcd528484911ccad58cdaaf88de8d564344d" dmcf-pid="zeGglyJ6eo" dmcf-ptype="general">앞으로는 온체인 실행, AML·제재 대응, 고객지원, 커뮤니티·지식 등 영역별 평가셋과 그레이더를 표준화해 재사용 가능한 자산으로 축적한다. 프로젝트마다 새롭게 만들던 평가 기준을 공통 자산으로 전환해 검증 효율을 높이는 방향이다.</p> <p contents-hash="4b9c26014b6fe5b0246c51a422c0e08cb37efa40dd7264965d5ee321abc73de8" dmcf-pid="qdHaSWiPiL" dmcf-ptype="general">반복적으로 사용하는 평가 기능은 서비스형 소프트웨어(SaaS) 형태의 어슈어런스 제품으로 전환한다. 고객사가 자사 에이전트를 연결하면 평가 하네스가 정기적으로 회귀 테스트를 수행하고 결과 리포트를 생성하는 구조로 고도화할 예정이다.</p> <p contents-hash="5ebeec262c12d9ca6f1130afad657b76c3821392e605994170170d0e90f463ec" dmcf-pid="BJXNvYnQdn" dmcf-ptype="general">일회성 감사에서 상시 모니터링으로도 범위를 넓힌다. 실제 운영 중인 에이전트의 동작을 지속적으로 관측해 모델, 프롬프트, 도구가 변경됐을 때 발생하는 품질 저하와 정책 위반을 조기에 탐지하는 '지속형 어슈어런스(Continuous Assurance)' 기능을 개발하고 있다.</p> <p contents-hash="464ab4ab411ed13d42e109add7848e90cad5e6cd6160dafa2369df0a47928f12" dmcf-pid="biZjTGLxJi" dmcf-ptype="general">온체인 검증 범위도 주요 체인과 프로토콜로 확대하고 감사 결과를 규제 대응에 바로 활용할 수 있는 표준 리포트 자동화 기능을 추가한다. 우선 국내 웹3.0 시장에서 레퍼런스를 확보한 뒤 2027년부터 글로벌 웹3 프로젝트와 디파이(DeFi) 프로토콜로 고객 범위를 넓히고 이후 금융과 보안 등 실행 오류의 비용이 큰 산업으로 적용 영역을 확대할 방침이다.</p> <p contents-hash="0f7c199ab6c9c2cb0b2b34cb4e3ab170496ad65aa8a95569a1fe653eb19d5e34" dmcf-pid="Kn5AyHoMRJ" dmcf-ptype="general">정종길 기자<br>jk2@chosunbiz.com</p> </section> </div> <p class="" data-translation="true">Copyright © IT조선. 무단전재 및 재배포 금지.</p> 관련자료 이전 '현금 114조원' SK하이닉스, 솔리다임 美 직접투자 가능성 '솔솔' 10-28 다음 [리뷰] 손바닥만 한 미니 PC에 필요한 건 다 넣었다 “기컴 IT13 맥스” 10-28 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
