"내 글, AI 학습에 쓰지 마" 한 번에 알린다…오픈AI·구글 등 4곳 합의, 시행은 제각각 작성일 11-02 18 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="P2oNcFcnC2"> <p contents-hash="2b9c7defa4ec75b7208db715706748d097d8735a73242f27a7c83bc62d43787d" dmcf-pid="QVgjk3kLC9" dmcf-ptype="general">웹사이트 운영자가 robots.txt에 두 줄만 적으면 앞으로 4개 AI 기업에 ‘AI 학습에 쓰지 말라'는 뜻을 한 번에 전할 수 있게 된다. </p> <p contents-hash="6abe8fe6a4fee6e179f80299a23f304d0c3779ed6eebb883b82f8cbc7f28f3ce" dmcf-pid="xfaAE0EoSK" dmcf-ptype="general">오픈AI·구글·마이크로소프트·앤트로픽은 2026년 10월 30일(현지시간) 공통 정책 토큰 ‘__usage_ai-training’을 지원하겠다고 밝혔다. 지금까지는 GPT봇, 클로드봇, 구글-익스텐디드처럼 회사마다 다른 크롤러이름을 하나씩 찾아 막아야 했다. 약속은 하나지만 시행 시점은 제각각이다. 같은 두 줄이 회사마다 다르게 작동하고, 메타는 아예 빠졌다. </p> <div contents-hash="8614ac40ddeca15d6ae32087e0c3a970689f8c56e981eab39d64ca496e089263" dmcf-pid="yC3UzNztlb" dmcf-ptype="general"> robots.txt는 사이트 최상위 경로에 두는 텍스트 파일로, 봇에게 어디까지 가져가도 되는지 알리는 안내문이다. 새 방식은 이 파일에 '<code>User-Agent: __usage_ai-training</code>'과 '<code>Disallow: /</code>' 두 줄을 넣는 것이다. 특정 경로만 열어 두려면 '<code>Allow:</code>' 줄을 더하면 된다. 기존에 모든 봇을 막던 '<code>User-Agent: *'</code> 규칙은 학습 거부로 인정되지 않는다. 토큰을 따로 적어야 한다. <div> </div> </div> <figure class="figure_frm origin_fig" contents-hash="826855a9e14d5f82b8dc566c95b04f52c70d099526eb4a60f1ea9bd6bdb1d636" dmcf-pid="WnIlTfTsSB" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/02/552816-OGTrtXj/20261102083125357xgcg.png" data-org-width="1024" dmcf-mid="6zgjk3kLvV" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/02/552816-OGTrtXj/20261102083125357xgcg.png" width="658"></p> </figure> <div contents-hash="46006bba6bb5e11267f1aca69f79a5c86ecb8297634a0311e34aa23494913732" dmcf-pid="YLCSy4yOSq" dmcf-ptype="general"> <div> </div> </div> <p contents-hash="7319caca50ee4ae69f2152eda40a093ac98808822a70beeca550438613a09d47" dmcf-pid="GohvW8WICz" dmcf-ptype="general">이 토큰은 크롤러 이름이 아니라 콘텐츠 용도를 표시하는 이름표다. 접근 자체를 막는 명령도 아니다. 근거는 앤트로픽 표준 담당 케빈 켈리가 국제인터넷표준화기구(IETF) ‘AI 선호도' 작업반에 낸 개인 초안 '기계 판독 가능한 학습 선호 신호'다. 정식 표준(RFC)이 아닌 초안 단계이며, 문서 유효기간은 2027년 5월 3일까지다. </p> <p contents-hash="9fcf2b13d18956ee42f26ad1854ee37508cf502ea333d20d2fc26f365694b9d8" dmcf-pid="HglTY6YCT7" dmcf-ptype="general">공통 토큰이 늘 최우선인 것도 아니다. 초안은 AI 기업이 자사 전용 설정을 더 구체적인 것으로 본다고 공개하면 그 설정을 먼저 따를 수 있게 했다. 사이트와 AI 기업이 따로 맺은 계약이 이 신호보다 앞설 수 있다고도 적었다. </p> <p contents-hash="2dbef5d7457bb868ea7fff3c1824b3807929f250e78cacd3723f3ccf4bc25aaa" dmcf-pid="XaSyGPGhyu" dmcf-ptype="general">앤트로픽은 이미 적용을 시작했다. 오픈AI는 향후 수개월 안에 반영하겠다며 범위를 기초 생성형 AI 학습으로 한정했고, 기존 GPT봇 차단 규칙도 그대로 유효하다고 밝혔다. 마이크로소프트는 2027년 2월 1일부터 크롤링 과정에서 이 신호를 따른다. 구글은 2027년 지원을 목표로 진행 상황을 따로 알리겠다고 했다. </p> <p contents-hash="384994db7c57fccacb3643baa603444068d7dd15d4df7eda22a447f204ab5952" dmcf-pid="ZNvWHQHlhU" dmcf-ptype="general">이 신호는 검색 색인을 막지 않는다. 구분할 개념은 세 가지다. 학습은 콘텐츠를 모델의 재료로 쓰는 일, 그라운딩은 AI가 답변을 만들 때 웹 페이지를 찾아 참고하는 일, 검색은 기존 검색 결과에 노출되는 일이다. </p> <p contents-hash="a2285c7e38f8cd7c67c18fc28892e6ea5338b690989a6bae3c13e32475ce397a" dmcf-pid="5jTYXxXSlp" dmcf-ptype="general">구글은 공통 토큰으로 거부하면서 구글-익스텐디드를 따로 적지 않은 사이트를 구글-익스텐디드 차단으로 간주한다. 구글 검색 노출과 순위에는 영향이 없다. 문제는 구글-익스텐디드가 제미나이 학습뿐 아니라 제미나이 앱 등의 그라운딩에도 적용된다는 점이다. 공통 토큰만 적으면 제미나이 답변에 인용되고 클릭을 받을 기회까지 줄어들 수 있다. 구글은 구글-익스텐디드를 명시적으로 허용한 사이트는 제미나이 앱 그라운딩 대상이 된다고 설명했다. </p> <p contents-hash="d9dd73eb37e0ccdcb81f598800131d5666ae4d1eda08f30166001cc7eed9ec04" dmcf-pid="1AyGZMZvT0" dmcf-ptype="general">마이크로소프트는 학습과 그라운딩을 따로 고르게 했다. 학습은 robots.txt나 페이지 단위로 정하되 페이지 설정이 우선한다. 그라운딩은 페이지 단위로만 정한다. 2027년 3월 1일 이후에는 기존 NoArchive·NoCache 태그를 학습이나 그라운딩 신호로 읽지 않는다. 이 태그를 써 온 사이트를 위해 빙 웹마스터 도구에 그라운딩 전용 임시 설정이 12월 15일 열린다. 임시 설정은 해당 페이지가 다시 수집되거나 2027년 9월 30일이 되면 효력이 끝난다. </p> <p contents-hash="34c513155c1d751f1d79ba3a7bbec74ad03bd038f88f9189b6ace67ad79add8e" dmcf-pid="tX9f6O6bW3" dmcf-ptype="general">소급 효력은 없다. robots.txt를 고쳐도 이미 수집되거나 학습에 쓰인 데이터는 지워지지 않는다. 강제력 역시 없는 자율 약속이다. </p> <p contents-hash="7ff321c30ff08394ba13d9152f56b47f665d71baf3d0ba62acf74635c143bb9d" dmcf-pid="FZ24PIPKCF" dmcf-ptype="general">메타는 여러 업체에 한 번에 전달되는 공통 신호를 중요한 진전으로 평가했지만, 이를 따를지는 밝히지 않았다. </p> <p contents-hash="ba87378451631fd94b333c8837e56dd65ed6f3adc3582c582e300cb995aac050" dmcf-pid="35V8QCQ9Wt" dmcf-ptype="general">메타는 별도로 언론계와 갈등을 빚고 있다. 사업자 계정과 연결된 웹사이트를 크롤링할 수 있게 한 새 상업약관 때문이다. 메타는 반발이 커지자 10월 23일 시행일을 10월 30일에서 11월 20일로 미뤘다. 28일에는 업계와 충분히 협의하기 전에는 약관을 바꾸지 않겠다며, 협의가 길어지면 시행을 다시 늦추겠다고 밝혔다. 같은 날 노르웨이 오슬로 지방법원은 현지 언론사 10곳의 신청을 받아들여, 적법성을 최종 판단할 때까지 노르웨이에서 약관 시행을 금지하는 가처분 결정을 내렸다. </p> <p contents-hash="2d343680c291a59350592298a2a81762604b6a74268f3da943c19e42e9713f4b" dmcf-pid="01f6xhx2W1" dmcf-ptype="general">공통 토큰은 아직 모든 곳에서 작동하지 않는다. 당장은 기존 크롤러별 차단 규칙을 지우지 말고 새 두 줄을 함께 적는 편이 안전하다. 학습만 막을지, AI 답변 인용까지 막을지도 먼저 정해야 한다. 제미나이 인용을 유지하려면 구글-익스텐디드 허용을 따로 적어야 한다. 하위 도메인마다 robots.txt를 따로 둬야 한다는 점도 챙겨야 한다. </p> <p contents-hash="40366ed30ec0d73942aaaf6b32774c7978da9bc327ce4d2398f4a1380e51bf95" dmcf-pid="pt4PMlMVy5" dmcf-ptype="general">AI 학습 거부 의사를 밝히는 일은 회사마다 다른 크롤러를 찾아 막던 작업에서 공통 설정으로 간소화되고 있다. 다만 그 '거부'가 AI 기업의 실제 행동으로 이어지는지는 각 사가 약속한 날짜가 지나야 확인할 수 있다. </p> <p contents-hash="dd19bc70916d29ab38678ef6de8dc0c5707bd052d9ea4817d1e49aa0d2a66958" dmcf-pid="UF8QRSRfyZ" dmcf-ptype="general">저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지</p> </section> </div> 관련자료 이전 바이낸스, 63억달러 해킹 사흘 만에 출금 재개…9시간 반 동안 36억달러 순유출 11-02 다음 삼성전자, 아프리카 스마트폰 첫 1위…할부 전략 통했다 11-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
