OpenAI와 Google이 공통 AI 학습 거부 설정을 지지합니다. OpenAI, Google, Microsoft는 2026년 10월 30일, 웹사이트 운영자가 여러 공급자의 생성형 AI 모델 학습 선호도를 동시에 지정할 수 있도록 robots.txt 내에서 단일 공통 정책 토큰을 지원할 계획이라고 발표했습니다. 이 제안된 메커니즘은 Anthropic의 엔지니어인 케빈 켈리(Kevin Kelley)가 IETF AI Preferences 실무 그룹에 제출한 개별 인터넷 초안(Internet-Draft)에서 비롯되었습니다. 이 이니셔티브를 통해 퍼블리셔는 표준 Allow 및 Disallow 구문을 사용하여 학습 거부 의사를 간편하게 선언할 수 있게 되었지만, 구현 일정은 2027년까지 순차적으로 진행되며 각 주요 플랫폼은 모델 학습 및 실시간 대화형 그라운딩(grounding) 전반에 걸쳐 해당 신호를 다르게 해석하고 적용할 계획입니다.
핵심 업계 개편: 주요 AI 연구소의 Robots.txt 표준 공동 대응
요약
- OpenAI, Google, Microsoft는 생성형 모델 학습 선호도를 관리하기 위한 공통 robots.txt 정책 토큰인
__usage_ai-training을 공동으로 지원할 계획을 2026년 10월 30일에 발표했습니다. - 이 신호는 Anthropic 엔지니어 케빈 켈리가 작성한 개별 IETF 인터넷 초안에 정의되어 있으며, 공식적이거나 최종 확정된 IETF RFC 표준은 아니지만 표준화된 구문을 설정합니다.
- 플랫폼별 도입 일정은 상당한 차이가 있습니다. Anthropic은 내부 엔지니어링 작업을 시작했으며, OpenAI는 향후 몇 달 내 출시를 목표로 하고 있고, Microsoft는 2027년 2월 1일에 시작하며, Google은 2027년에 지원을 계획하고 있습니다.
거의 30년 동안 로봇 배제 프로토콜(Robots Exclusion Protocol)은 자동화된 웹 크롤러가 공개 온라인 콘텐츠와 상호 작용하는 방식을 규율해 왔습니다. 웹사이트 관리자는 루트 디렉터리에 간단한 robots.txt 일반 텍스트 파일을 배치하여 특정 검색엔진 사용자 에이전트가 가져올 수 있는 특정 URL 경로를 정의했습니다. 이 프로토콜은 웹사이트 퍼블리셔가 크롤러가 콘텐츠를 색인화하도록 허용하는 대신 검색엔진 결과 페이지에서 검색 가능성, 아웃바운드 추천 트래픽, 브랜드 노출을 얻는다는 기본적인 상업적 거래를 바탕으로 작동했습니다.
생성형 인공지능의 급격한 성장은 이러한 경제적 모델을 흔들어 놓았습니다. 최첨단 AI 연구소가 배포한 자동화된 스크레이퍼는 웹 도메인을 수집하여 기초 모델을 학습시키기 시작했으며, 종종 퍼블리셔에게 추천 클릭을 제공하지 않고 답변 인터페이스 내에서 직접 원본 콘텐츠를 요약했습니다. 지식재산권이 무단으로 수집되는 것을 막고자 하는 콘텐츠 소유자는 GPTBot, ClaudeBot, Google-Extended 등 파편화되고 복잡한 독점 사용자 에이전트 목록을 유지해야 했습니다. 이러한 관리 부담으로 인해 여러 크롤러 지시문을 동시에 관리할 때 설정 오류나 우발적인 검색 색인 누락의 운영 리스크가 커졌습니다.
공통 AI 학습 거부 기능의 등장은 파편화된 공급자 차단에서 협력적 프로토콜 거버넌스로의 중요한 전환을 의미합니다. 주요 AI 제공업체는 공통 정책 토큰을 중심으로 지원을 조율함으로써, 생성형 모델 학습과 관련하여 명확한 경계를 설정하고자 하는 콘텐츠 크리에이터의 기술적 진입 장벽을 낮추는 것을 목표로 합니다. 공식 Google 검색 센트럴 발표에 따르면, 이 단일 규칙을 통해 웹사이트 관리자는 시장에 진입하는 개별 상업용 AI 크롤러마다 별도의 지시문을 추적하고 설정할 필요 없이 한 번에 생성형 AI 학습 거부 입장을 선언할 수 있습니다.
내부 아키텍처 메커니즘: __usage_ai-training 토큰의 작동 방식
공통 선호도 신호 이면의 기술 아키텍처는 기계 읽기 가능한 학습 선호도 신호에 관한 IETF 인터넷 초안에 명시되어 있습니다. 중요하게도, 이 초안은 새로운 지시문을 도입하거나 RFC 9309에 정의된 로봇 배제 프로토콜의 기본 문법을 변경하지 않습니다. 대신 예약된 정책 토큰인 __usage_ai-training을 할당하여 표준 User-Agent 레코드를 재사용합니다.
거부 설정을 위해 웹master는 이 정책 토큰을 사용자 에이전트로 지정하는 일반 규칙 블록을 생성하고 그 뒤에 표준 Disallow 및 Allow 규칙을 따르게 합니다. 아래 예시는 웹사이트 소유자가 공용 홍보 자료에 대한 예외는 유지하면서 모든 사이트 디렉터리에서 학습 거부를 표현하는 방법을 보여줍니다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
‘AI 학습’을 구성하는 요소에 대한 의미론적 정의는 IETF 실무 그룹의 기본 어휘 사양에 기반합니다. 이 프레임워크에 따라 학습은 수집된 웹 콘텐츠를 활용하여 생성형 인공지능 모델의 학습된 가중치와 파라미터를 수정 또는 미세 조정하는 것으로 엄격하게 정의됩니다. 표준 문서 분류, 검색 색인 순위 지정, 맞춤법 교정, 스팸 필터링과 같은 비생성형 연산 작업은 이 정의에서 명시적으로 제외됩니다.
프로토콜 경계: 크롤링 vs 학습 vs 그라운딩
이 제안된 토큰의 운영 한계를 이해하려면 자동화된 데이터 수집의 각 단계를 구분해야 합니다.
[공개 웹 콘텐츠]
│
▼
[1. HTTP 크롤 / 가져오기] ──> 특정 크롤러 사용자 에이전트(예: GPTBot, Bingbot)에 의해 제어됨
│ *__usage_ai-training은 HTTP 가져오기 동작을 제어하지 않습니다*
├────────────────────────────────────────┐
▼ ▼
[2. 모델 학습 용도] [3. 실시간 그라운딩 / RAG]
*__usage_ai-training: Disallow* *페이지 태그 및 공급자 설정에 의해 제어됨*
학습에 대한 거부 선호도 신호 AI 모델에 실시간 웹 컨텍스트 제공
│ │
▼ ▼
시행 여부는 참여하는 자격 기준은 개별 플랫폼
AI 제공업체에 따라 다름 정책에 따라 설정됨
기술 팀은 이 초안 사양에 내재된 네 가지 구조적 경계를 평가해야 합니다.
- 신호는 학습을 제어하며 크롤링을 제어하지 않음: 이 정책 토큰은 네트워크 크롤링 동작에 대한 지시문이 아닙니다.
__usage_ai-training하에서Disallow: /를 마주한 AI 크롤러는 여전히 HTTP를 통해 HTML문서를 가져올 수 있습니다. 단지 검색된 텍스트를 모델 학습 파이프라인에 공급하지 않도록 지시받을 뿐입니다. 봇이 URL을 요청하는 것 자체를 차단하려면 관리자는 크롤러의 특정 식별 이름을 계속해서 차단해야 합니다. - 와일드카드 규칙은 적용되지 않음:
User-Agent: *뒤에Disallow: /가 오는 것과 같은 일반적인 와일드카드 차단은 이 정책 토큰과 일치하지 않습니다. 초안에서는 참여하는 AI 제공업체가 보편적인 와일드카드 그룹을 AI 학습 선호도의 표현으로 해석해서는 안 된다고 규정하고 있습니다. 파일에 명시적인__usage_ai-training토큰이 누락된 경우, 표준은 해당 사이트가 학습 선호도를 표현하지 않은 것으로 해석합니다. - 소급적인 모델 학습 취소 불가: 웹사이트의
robots.txt파일 업데이트는 미래 지향적으로 작동합니다. 향후 크롤링 및 학습 주기에 대한 신호를 제공하지만, AI 연구소가 이미 과거 학습 데이터셋에 통합된 데이터를 삭제하거나 기존 기초 모델의 가중치를 삭제하도록 강제하지는 않습니다. - 기술적 강제가 아닌 자발적 조율: 이 신호는 퍼블리셔의 선호도를 나타낼 뿐, 참여하지 않거나 규정을 준수하지 않는 데이터 소비자에 대한 기술적 강제 수단을 제공하지 않습니다. RFC 9309 원칙에 따라 robots.txt는 접근 제어 방화벽이 아닌 협력적 자문 메커니즘으로 유지됩니다.
공급자별 구현 차이 및 마이그레이션 일정
Google, Microsoft, OpenAI가 공통 신호를 지원할 계획을 발표했지만, 이들의 기술 구현과 출시 일정은 상당한 차이가 있습니다. 각 제공업체는 검색엔진 색인화, 생성형 모델 학습, 대화형 검색 증강 생성(RAG) 간의 균형을 각자의 제품 인프라를 통해 접근합니다.
아래 표는 확정된 플랫폼 약속, 해석 규칙, 마이그레이션 일정을 대조합니다.
| 플랫폼 | 확정된 상태 및 일정 | 정책 토큰 해석 | 그라운딩 및 검색 처리 | 레거시 태그 마이그레이션 및 예외 |
|---|---|---|---|---|
| 지원 발표, 2027년 예정(정확한 날짜 미정) | 명시적인 Google-Extended 규칙이 없을 때 Google-Extended: Disallow로 해석됨 |
기본 매핑은 Gemini 앱 그라운딩에 영향을 미치며, 명시적 규칙이 우선함 | 기존 Google-Extended 지시문은 계속해서 완전한 효력을 유지하며, 검색 색인은 영향을 받지 않음 |
|
| Microsoft | 도입 확정, 2027년 2월 1일부터 적용 시작 | 웹 크롤링 시 학습 거부로 인식됨 | 학습에서 분리되어 페이지 수준 태그를 통해 별도로 관리됨 | 2027년 3월 1일부로 AI용 NoArchive/NoCache 지원 중단; 임시 Bing 웹마스터 도구 설정은 12월 15일 오픈 |
| OpenAI | 향후 몇 달 내 구현 예정 | 데이터 수집 파이프라인에서 직접 지원 | GPTBot 지시문과 함께 평가됨 |
기존 GPTBot 설정은 활성 상태로 유지되며 적용됨 |
| Anthropic | 직원이 초안 작성, 실무 그룹 목록에서 개발 보고됨 | 서비스 전반에서 지원 예정, 공식 뉴스룸 일정 미정 | ClaudeBot 지시문과 함께 평가됨 |
기존 ClaudeBot 크롤러 제어 계속 작동 |
Google은 명시적인 Google-Extended 규칙이 없는 경우 공통 AI 학습 거부 설정을 Google-Extended 거부로 해석할 계획입니다. Google-Extended는 Gemini 앱의 그라운딩 자격도 제어하기 때문에, 이 기본 매핑은 퍼블리셔의 콘텐츠가 해당 환경에 제공될 수 있는지 여부에 영향을 미칠 수 있습니다. Google의 구현에서는 명시적인 Google-Extended 규칙이 공통 신호보다 우선하지만, 퍼블리셔는 Google의 현재 제어 기능이 모델 학습과 Gemini 앱 그라운딩에 대해 독립적인 거부 설정을 제공한다고 가정해서는 안 됩니다. Google-Extended 허용된 콘텐츠는 포함이나 인용에 대한 보장 없이 Gemini 그라운딩 자격을 얻을 수 있습니다.
공식 Bing 웹마스터 업데이트에 자세히 설명된 바와 같이, 대조적으로 Microsoft Bing은 모델 학습과 실시간 그라운딩을 별개의 아키텍처 개념으로 취급합니다. Microsoft는 퍼블리셔가 Copilot 답변의 실시간 그라운딩은 계속 허용하면서 생성형 모델 학습은 거부할 수 있도록 허용합니다. 이러한 선호도를 관리하는 사이트는 robots.txt나 개별 URL에 대해 robots.txt를 무시하는 페이지 수준 HTML 메타 태그 및 HTTP 헤더를 통해 학습 제한을 선언할 수 있습니다. 그라운딩은 Microsoft 그라운딩 API로 구동되는 타사 서비스를 제외하면서 Microsoft 자체 도구(예: Copilot)에서의 그라운딩을 허용하는 DisallowExtended 옵션을 포함하여 페이지 수준 선호도를 통해 제어됩니다. 또한 Microsoft는 AI 제어를 위해 기존에 의존하던 NoArchive 및 NoCache 태그의 사용을 단계적으로 중단하고 있으며, 해당 태그에 의존하는 사이트는 2027년 3월 1일 이전에 새 옵션으로 마이그레이션해야 합니다. 임시 Bing 웹마스터 도구 그라운딩 설정은 2026년 12월 15일 기준 NoArchive 또는 NoCache를 사용하는 사이트에서만 사용할 수 있습니다. 이 설정은 Microsoft가 페이지를 다시 크롤링하여 새로운 선호도를 발견할 때까지 또는 2027년 9월 30일 중 먼저 도래하는 시점까지 유효합니다.
엔지니어링 체크리스트: 에이전틱 웹을 위한 웹 환경 설정 감사
공통 AI 학습 선호도 신호를 배포하려면 시스템 아키텍처, 콘텐츠 운영, 법무 거버넌스 팀 간의 조율이 필요합니다. 엔지니어링 리더는 검색엔진 검색을 의도치 않게 방해하지 않으면서 서버 설정이 조직의 정책을 정확히 반영하도록 해야 합니다.
웹마스터 및 시스템 구현 체크리스트
- 현재 로봇 매니페스트 감사: 기존
robots.txt파일을 검토하여 공급자별 지시문을 분류하고,GPTBot,ClaudeBot,Google-Extended에 대한 규칙이 조직의 학습 정책과 충돌하는지 확인합니다. - 예약된 정책 토큰 배포:
User-Agent: __usage_ai-training블록을 구현하여 단일화된 형식으로 참여하는 AI 제공업체 전반에 글로벌 학습 경계를 표현합니다. - 세분화된 예외 경로 유지: 보도자료, 미디어 키트, 공개 개발자 문서 등의 공개 자산이 모델 학습용으로 허용될 경우, 거부 지시문 아래에 명시적인
Allow:예외를 선언합니다. - 가져오기 차단을 학습 거버넌스와 분리: 주요 목적이 원본 서버 부하 감소 또는 무단 스크레이퍼 방지인 경우, IP 기반 속도 제한, CDN 봇 챌린지, 명시적인 크롤러 사용자 에이전트 차단을 설정합니다.
거버넌스 및 규정 준수 체크리스트
- Microsoft 그라운딩 마이그레이션 일정 검토: Bing Copilot 출력을 제어하기 위해
NoArchive나NoCache를 사용하는 사이트의 경우, Microsoft의 2027년 3월 1일 시행 마감일 전에 새로운 페이지 수준 태그로 전환할 준비를 합니다. - 검색 노출 트레이드오프 평가: 대화형 답변 엔진에서의 가시성을 평가하는 플랫폼의 경우, 공급자별 기본 매핑(예: Google의
Google-Extended로의 폴백)이 실시간 검색 자격에 미치는 영향을 파악합니다. - IETF 실무 그룹 업데이트 추적: 2027년 5월 예정된 만료일 전에 발생할 수 있는 구문 업데이트에 대비하여 IETF AIPREF 실무 그룹 내에서
draft-kelley-aipref-training-preference-signal의 진행 상황을 모니터링합니다.
Share this article
