[SW키트] "AI도 돈 내고 긁어"…클라우드플레어의 'AI 크롤링 유료화' 뜰까

작성일 07-07

<div id="layerTranslateNotice" style="display:none;"></div> 대형 매체들 AI 크롤링 마켓플레이스 '환영'…"업계 협력 체계 필요" 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="4l9lpsLKei">
 (지디넷코리아=김미정 기자)밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주]
 클라우드플레어가 인공지능(AI) 챗봇의 무단 콘텐츠 접근·수집을 막기 위해 마켓플레이스를 출시한 가운데 이에 대한 전망이 엇갈리고 있다.
 최근 클라우드플레어는 AI 크롤러의 웹사이트 접근을 유료화하는 '페이 퍼 크롤(Pay per Crawl)' 마켓플레이스를 비공개 베타 형태로 출시했다. 이 마켓은 AI 챗봇이 웹사이트에 무단 접속해 정보를 무단으로 긁어가는 것을 방지하기 위해 등장했다. 
 <figure class="figure_frm origin_fig" contents-hash="f7016801bb22e353c82f75063bc3c1ae167d7a538e2d35ec7857c1a48e03313b" dmcf-pid="QHQHKTkPMR" dmcf-ptype="figure">
 <img alt="클라우드플레어가 AI 챗봇의 무단 콘텐츠 접근·수집을 막기 위해 마켓플레이스를 출시한 가운데 이에 대한 전망이 엇갈리고 있다. (사진=구글 제미나이)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202507/07/ZDNetKorea/20250707154733907nnvy.png" data-org-width="640" dmcf-mid="VVdt4HmeJL" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202507/07/ZDNetKorea/20250707154733907nnvy.png" width="658">
 <figcaption class="txt_caption default_figure">
 클라우드플레어가 AI 챗봇의 무단 콘텐츠 접근·수집을 막기 위해 마켓플레이스를 출시한 가운데 이에 대한 전망이 엇갈리고 있다. (사진=구글 제미나이)
 </figcaption>
 </figure>
 매슈 프린스 클라우드플레어 최고경영자(CEO)는 "실제 다수 웹 기반 비즈니스는 광고 수익에 의존하고 있는데, AI 크롤러의 무단 수집으로 인해 해당 모델이 흔들리고 있다"며 "대형 언론사부터 중소 자영업자까지 모든 웹사이트 운영자가 AI 크롤러로부터 콘텐츠를 보호할 수 있게 조치할 것"이라고 강조한 바 있다. 
 클라우드플레어는 두 가지 방식으로 AI 크롤러를 통제할 방침이다. 우선 웹사이트가 AI 크롤러 접근을 원천 차단하는 기능이다. AI 크롤러가 웹사이트 자체에 접속조차 할 수 없게 만드는 식이다. 
 다른 하나는 크롤러가 웹사이트에 접근할 경우 소액결제를 통해 요금을 청구하는 시스템이다. AI 챗봇 기업이 웹사이트의 콘텐츠를 긁어갈 때마다 일정 금액을 지불하고, 해당 금액은 수수료를 제외한 뒤 웹사이트 운영자에게 전달되는 방식이다. 
 웹사이트 운영자는 크롤링 목적이 AI 학습용인지 또는 검색 응답용인지 등 기타 목적에 따라 접근 허용 여부나 과금 조건을 다르게 설정할 수 있다. 해당 정책은 클라우드플레어에 도메인을 등록한 고객 한해서만 제공된다.
 "웹사이트, 데이터 제공자로 전락?…중소·중견 참여 미정"
 일부 AI 기업과 대형 매체는 클라우드플레어의 마켓플레이스에 긍정적으로 반응하고 있다. 다만 해당 시장이 확장할 수 있을지 미지수라는 의견도 공존하고 있다.
 <figure class="figure_frm origin_fig" contents-hash="34a80cf38c5dd4c7e8001df29cd0e8490d8f274b007127ca4a69bb16acfe312e" dmcf-pid="XgXglJ9HL4" dmcf-ptype="figure">
 <img alt="일부 AI 기업과 대형 매체는 클라우드플레어의 마켓플레이스에 긍정적으로 반응하고 있다. (사진=챗GPT)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202507/07/ZDNetKorea/20250707154735346cqpg.png" data-org-width="638" dmcf-mid="fW7m5kRudn" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202507/07/ZDNetKorea/20250707154735346cqpg.png" width="658">
 <figcaption class="txt_caption default_figure">
 일부 AI 기업과 대형 매체는 클라우드플레어의 마켓플레이스에 긍정적으로 반응하고 있다. (사진=챗GPT)
 </figcaption>
 </figure>
 한 업계 관계자는 "클라우드플레어는 전 세계 인터넷 콘텐츠를 다수 처리하고 있다"며 "이같은 규모로 AI 크롤러 유료화를 현실화할 수 있을 것"이라 주장했다. 
 실제 클라우드플레어는 AI 크롤러 고객사로 타임과 애틀랜틱, 포춘, 콘데나스트, 애드워크 등을 확보했다. 해당 매체는 AI 크롤러 전면 차단을 기본 설정으로 적용한 상태다. 
 다만 해당 모델에는 넘어야 할 현실적 과제도 있다. 가장 큰 장벽은 웹사이트 운영자들이 느끼는 거부감인 것으로 나타났다. 
 지금까지 사용자들이 직접 웹사이트를 방문해 콘텐츠를 읽고, 그 과정에서 광고를 보거나 유료 구독을 통해 수익이 발생하는 구조였다. 그러나 클라우드플레어의 새 시스템은 AI가 웹사이트 내용을 요약한 뒤, 그 결과만 사용자에게 보여주는 식으로 구성됐다. 사용자가 직접 웹사이트에 접속하지 않아도 정보를 소비할 수 있게 되는 셈이다. 
 이처럼 간접적인 콘텐츠 소비 방식은 웹사이트 운영자들, 특히 언론사나 블로거처럼 트래픽과 광고 수익에 민감한 이들에게 우려를 불러일으킬 수 있다.
 한 웹사이트 운영자는 "클라우드플레어 마켓플레이스가 활성화한다면 웹사이트는 인간이 아닌 AI 학습을 위한 데이터 제공자로 전락할 수 있을 것"이라고 지적했다. 
 업계에서는 해당 과금 시스템이 제대로 잡기 위한 협력 체계가 중소·중견 사업자에게 영향 미칠지 미지수라는 입장도 나왔다. 
 또 다른 관계자는 "업계 전반 합의와 기술 표준, 신뢰를 기반으로 한 협력 체계가 필요하다"며 "대기업뿐 아니라 중소 기업까지 유료 크롤링 마켓플레이스에 적극 참여할지는 아직 불투명하다"고 말했다. 
 김미정 기자(notyetkim@zdnet.co.kr)
 </section> 
 </div> 
 Copyright © 지디넷코리아. 무단전재 및 재배포 금지.

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

[SW키트] "AI도 돈 내고 긁어"…클라우드플레어의 'AI 크롤링 유료화' 뜰까

멤버랭킹

관련자료

멤버랭킹