오픈AI·구글·MS·앤트로픽, 'AI 학습 거부' 공통 신호 합의…robots.txt 토큰 하나로 4강에 한 번에 '내 글 쓰지 마'

오픈AI·구글·마이크로소프트·앤트로픽, 세계 AI 업계를 이끄는 4개 기업이 웹사이트 운영자가 'AI 학습에 내 콘텐츠를 쓰지 말라'는 뜻을 한 줄로 밝힐 수 있는 공통 신호를 따르겠다고 30일(현지시간) 한꺼번에 발표했다. 지금까지는 AI 회사마다 크롤러 이름을 하나하나 찾아 robots.txt에 따로 적어야 했지만, 앞으로는 __usage_ai-training이라는 '정책 토큰' 하나로 참여 기업 모두에게 같은 의사를 전달할 수 있게 된다. 뉴스 매체와 창작자들이 AI 업계와 저작권 소송을 벌이는 가운데 나온 업계 공동의 첫 표준안이라는 점에서 의미가 크다. 다만 아직 초안 단계이고, 실제 적용은 내년에야 본격화된다.

핵심 정리

• 오픈AI·구글·MS·앤트로픽이 robots.txt 기반의 공통 'AI 학습 거부' 신호를 지원하겠다고 30일 동시 발표했다.
• 신호는 앤트로픽의 표준 담당 기술 리드 케빈 켈리가 같은 날 국제인터넷표준화기구(IETF)에 제출한 개인 초안에 정의돼 있다.
• 앤트로픽은 이미 적용을 시작했고, MS는 2027년 2월 1일부터, 구글은 2027년 중, 오픈AI는 "앞으로 몇 달 안에" 적용할 계획이다.
• 신호는 '미래의 학습'에만 해당하며 크롤링 자체를 막지 않는다. 아무 설정도 하지 않으면 학습 허용이 기본값이다.
• 메타는 지지 의사를 밝혔지만 실제로 따를지는 밝히지 않았다.

무엇이 발표됐나

오픈AI는 자사 블로그에서 "웹사이트가 기초 생성형 AI 학습에 콘텐츠를 쓰는 것에 대한 선호를 밝히는 robots.txt의 공통 신호를 존중하겠다"고 밝혔다. 오픈AI는 이를 "자발적인 노력"이라고 표현하면서, 기존 GPTBot 등 자사 크롤러 제어 규칙도 그대로 유지된다고 설명했다.

구글은 검색 센터 블로그를 통해 같은 신호를 2027년부터 지원하겠다고 밝혔다. 구글은 2023년부터 'Google-Extended'라는 자체 학습 거부 토큰을 운영해 왔는데, 사이트가 공통 토큰으로 학습을 거부하고 Google-Extended를 따로 지정하지 않았다면 이를 Google-Extended 거부와 똑같이 해석하겠다는 방침이다. 구글은 이번 제안이 EU AI법에 따른 범용 AI(GPAI) 행동강령과도 일치한다고 강조했다.

마이크로소프트는 더 큰 개편안을 내놨다. 빙(Bing) 블로그에 따르면 MS는 'AI 학습'과 'AI 그라운딩(AI 답변을 만들 때 참고 자료로 쓰는 것)'을 분리해 관리하도록 한다. 학습은 공통 robots.txt 토큰과 페이지별 메타 태그로, 그라운딩은 페이지 단위로만 설정한다. 그라운딩에는 허용, 거부 외에 'DisallowExtended'라는 중간 단계가 생겨, 코파일럿이나 마이크로소프트 365 같은 MS 자체 서비스에는 쓰되 제3자에게 제공하는 그라운딩 서비스에는 쓰지 못하게 할 수 있다. 일반 빙 검색 순위에는 영향이 없다고 MS는 밝혔다.

앤트로픽은 AFP에 이미 적용을 "시작했다"고 밝혔다. 메타의 앤디 스톤 커뮤니케이션 책임자는 X에 "여러 업체에 한 번에 선호를 전달하는 공통 신호를 만드는 것은 중요한 진전"이라고 썼지만, 메타가 이를 따를지는 언급하지 않았다고 더버지는 전했다.

어떻게 작동하나

IETF 초안 'Machine-Readable Training Preference Signal'에 따르면, 사이트 운영자는 robots.txt에 User-Agent: __usage_ai-training 그룹을 만들고 그 아래 Disallow, Allow 경로를 적으면 된다. 예를 들어 전체 학습은 거부하되 보도자료 폴더만 허용하는 식이다. 새 명령어나 문법을 추가하지 않았기 때문에 기존 robots.txt 해석기는 이 그룹을 모르는 봇 이름처럼 그냥 건너뛴다.

주의할 점도 있다. 모든 봇을 뜻하는 User-Agent: * 규칙은 이 토큰에 적용되지 않는다. 즉 공통 토큰 그룹이 없으면 "아무 의사도 밝히지 않은 것"으로 본다. 또 이 신호는 크롤링 지시가 아니다. 특정 봇의 수집 자체를 막고 싶다면 여전히 그 봇의 이름을 따로 적어야 한다. 초안은 사이트와 AI 기업 간 개별 계약이 이 신호보다 우선할 수 있다고도 명시했다. 여기서 'AI 학습'은 IETF AI 선호(aipref) 워킹그룹의 정의를 따라 "생성형 AI 모델의 학습된 파라미터를 바꾸는 데 콘텐츠를 쓰는 것"을 뜻하며, 분류·순위 매기기 전용 모델은 빠진다.

주요 날짜와 숫자

• 2026년 10월 30일: IETF 초안 00판 제출, 4개 기업 동시 발표
• 2026년 12월 15일: MS, 기존 NoArchive·NoCache 사용 사이트를 위한 임시 그라운딩 설정을 빙 웹마스터 도구에 도입
• 2027년 2월 1일: MS, 새 학습·그라운딩 설정 적용 시작
• 2027년 3월 1일: MS 기존 NoArchive·NoCache 태그가 더는 AI 설정으로 읽히지 않는 시한
• 2027년 5월 3일: 현재 초안의 만료일(갱신하지 않으면)

배경: 쏟아지는 AI 크롤러와 소송

이번 발표는 언론사와 AI 기업의 갈등이 깊어지는 가운데 나왔다. 뉴욕타임스는 2023년 12월 오픈AI와 MS가 수백만 건의 기사를 허락 없이 학습에 썼다며 소송을 냈고, 두 회사는 저작권법상 '공정 이용'을 내세우고 있다. 오픈AI는 같은 날 공정 이용을 옹호하는 법원 의견서 발췌문을 따로 공개하기도 했다.

업계 밖에서는 이미 다른 해법이 나와 있다. 인터넷 인프라 기업 클라우드플레어는 2025년 7월부터 신규 고객 사이트에서 AI 봇을 기본 차단하고 있고, '리얼리 심플 라이선싱(RSL)' 표준은 크롤러에게 요금을 물릴 수 있게 한다. 이번 공통 신호는 AI 기업들이 스스로 내놓은 '선택권' 방식이라는 점에서 이들과 결이 다르다.

엇갈리는 평가

표준화 자체는 환영받지만 한계도 뚜렷하다는 평가가 나온다. 우선 이 초안은 IETF 데이터트래커에 "IETF가 승인하지 않았으며 공식 지위가 없다"고 명시된 개인 초안이다. 내용이 바뀔 수 있다는 뜻이다. 둘째, AFP와 MS 설명대로 이미 수집된 콘텐츠나 과거 학습에는 소급되지 않고, 사이트가 아무것도 하지 않으면 학습 허용이 기본값이다. 셋째, 참여는 어디까지나 자발적이어서 신호를 무시하는 업체를 막을 기술적 장치는 없다.

출판사 입장에서는 계산도 복잡하다. MS와 구글은 학습을 거부하면 AI 서비스에서 콘텐츠가 노출될 가능성이 줄어들 수 있다고 각각 안내했다. 구글은 Google-Extended를 명시적으로 허용한 사이트가 제미나이 앱의 그라운딩 답변에 등장해 클릭을 받을 수 있다고 밝혔다. 학습 거부와 AI 검색 노출 사이에서 선택을 강요받는 구조가 완전히 사라진 것은 아닌 셈이다.

한국 독자에게 주는 의미

국내 언론사와 콘텐츠 기업, 블로그·쇼핑몰 운영자도 직접 영향을 받는다. 지금은 GPTBot, ClaudeBot, Google-Extended 등을 일일이 적어야 했던 작업이 토큰 하나로 줄어든다. 학습을 원치 않는 사이트라면 각 기업의 적용 시점에 맞춰 robots.txt에 __usage_ai-training 그룹을 추가하는 것을 검토할 만하다. 단 크롤링 차단은 별도로 설정해야 하고, User-Agent: *만으로는 효과가 없다는 점을 기억해야 한다.

빙 검색을 통해 유입이 있는 사이트는 MS의 2027년 3월 1일 시한도 챙겨야 한다. 기존 NoArchive·NoCache 태그에 의존해 왔다면 새 설정으로 옮기지 않을 경우 그라운딩이 기본 허용으로 바뀐다. 이번 발표에 네이버, 카카오 등 국내 AI 기업은 이름을 올리지 않았다. 국내 플랫폼이 같은 신호를 따를지도 앞으로 지켜볼 대목이다.

전망

관건은 참여 범위와 표준화 속도다. 구글은 "더 많은 업계 참여자가 이 방식을 채택할수록 웹사이트 운영자의 선택권이 넓어진다"고 밝혔다. 메타와 아마존 같은 다른 대형 업체가 실제로 동참할지, 그리고 학습 외에 검색·그라운딩·에이전트 브라우징까지 다루는 aipref 워킹그룹의 나머지 논의가 합의에 이를지가 다음 쟁점이다. 일단 AI 업계 4강이 같은 신호를 쓰겠다고 약속하면서, 웹 콘텐츠를 AI가 어떻게 쓸지를 두고 벌어진 줄다리기에서 최소한의 공통 규칙이 처음 생겼다.

— SSOK.AI 그록기자

참고 자료

• OpenAI, Making it easier for websites to express AI training preferences
• Google Search Central Blog, Supporting a shared AI training control for websites
• IETF Datatracker, draft-kelley-aipref-training-preference-signal-00
• The Verge, The biggest names in AI are backing a new way to opt out of scraping
• The Straits Times(AFP), AI giants promise publishers new way to block some scraping
• Search Engine Land, Microsoft Bing gives publishers more control over how AI uses their content
• Search Engine Roundtable, Microsoft Bing Separates AI Training From AI Search Grounding
• Search Engine Roundtable, Google Also Adopts New AI Training Control