2026년 10월 30일 구글, 마이크로소프트, OpenAI, Anthropic이 robots.txt 한 줄로 여러 AI 회사에 한꺼번에 'AI 학습 거부' 의사를 전달하는 공용 정책 토큰을 지원하겠다고 각각 발표했습니다. 토큰 이름은 __usage_ai-training이며 IETF(국제 인터넷 표준화 기구) AI 선호 표시 작업반의 논의를 바탕으로 한 인터넷 초안에 정의돼 있습니다. 회사마다 적용 시점이 다르고, 이 토큰은 학습에 대한 의사 표시일 뿐 크롤링이나 검색 노출을 막는 장치는 아닙니다.
핵심 요약
- robots.txt에 'User-Agent: __usage_ai-training' 그룹을 쓰면 참여 AI 회사 모두에 학습 거부 또는 허용 의사를 한 번에 전달할 수 있습니다.
- Anthropic은 이미 구현을 시작했고 OpenAI는 수개월 안, 마이크로소프트는 2027년 2월 1일, 구글은 2027년 중 지원을 예고했습니다.
- 이 토큰은 AI 학습 용도에 대한 의사 표시이며, 크롤링 차단이나 검색 결과 노출과는 별개로 동작합니다.
- Google-Extended, GPTBot 같은 기존 회사별 제어는 그대로 유지되고 공용 토큰과 함께 쓸 수 있습니다.
무슨 일이 있었나
2026년 10월 30일 구글 검색 센트럴 블로그는 robots.txt의 공용 AI 학습 제어를 지원할 계획이라고 발표했습니다. 사이트 운영자가 AI 회사마다 따로 지시를 관리하는 대신, 하나의 '정책 토큰'으로 참여 회사 전체에 학습 선호를 표시하도록 하는 방식입니다. 구글은 사이트가 이 토큰으로 학습을 거부하고 Google-Extended를 따로 지정하지 않았다면, Google-Extended를 거부한 것과 같이 해석할 계획이라고 밝혔습니다. 지원 시점은 2027년으로 예고했고, 크롤러 문서에는 2027년 초 지원 예정이라는 안내를 추가했습니다.
같은 날 Anthropic의 케빈 켈리가 IETF에 '기계가 읽는 학습 선호 신호' 인터넷 초안(draft-kelley-aipref-training-preference-signal-00)을 제출했습니다. 초안은 robots.txt에 새 문법을 추가하지 않고, User-Agent 줄에 __usage_ai-training이라는 정책 토큰을 적은 일반 규칙 그룹으로 선호를 표현합니다. 예를 들어 'Disallow: /'와 'Allow: /press-kit/'를 함께 쓰면 보도자료 폴더만 학습을 허용하고 나머지는 거부한다는 뜻이 됩니다. 켈리는 작업반 메일링 리스트에서 Anthropic이 이미 이 초안의 지원 구현을 시작했다고 알렸습니다.
마이크로소프트는 빙 블로그에서 공용 AI 학습 선호를 채택하는 동시에, 페이지 단위의 학습 선호와 별도의 'AI 근거 제시(grounding)' 선호를 추가한다고 발표했습니다. 근거 제시란 AI가 답변을 만들 때 웹 문서를 참고 자료로 쓰는 것을 말합니다. 새 선호는 2027년 2월 1일부터 크롤링 시 적용되며, 기존 NoArchive·NoCache 태그로 제한하던 사이트는 2027년 3월 1일까지 새 방식으로 옮겨야 제한이 유지됩니다. 마이크로소프트는 어떤 선택을 해도 빙 일반 검색 결과 노출 자격은 바뀌지 않는다고 설명했습니다.
OpenAI도 같은 날 이 공용 신호를 존중하겠다고 발표했다고 Unite.AI가 보도했습니다. 보도에 따르면 OpenAI는 수개월 안에 구현할 계획이며, 기존 robots.txt 크롤러 제어는 그대로 유지한다고 밝혔습니다. OpenAI는 이 신호를 자발적 협력 장치로 설명했습니다.
IETF 초안은 아직 개인 제출 단계의 인터넷 초안이며 정식 표준은 아닙니다. 초안 자체도 '진행 중인 작업'으로 인용하는 것이 적절하지 않다고 적고 있습니다. 다만 토큰의 의미는 작업반 어휘 초안의 'AI 학습' 정의를 그대로 따릅니다. 이 정의에서 AI 학습은 생성형 AI 모델의 학습 파라미터를 바꾸는 데 콘텐츠를 쓰는 것을 뜻하고, 분류나 순위 산정만 하는 모델의 학습은 포함하지 않습니다.
왜 중요한가
지금까지 사이트 운영자는 GPTBot, Google-Extended, ClaudeBot 등 회사마다 다른 토큰을 찾아 robots.txt에 하나씩 적어야 했습니다. 새 회사가 생기면 목록을 또 고쳐야 했습니다. 공용 토큰이 자리 잡으면 참여 회사에 대해서는 한 그룹으로 의사 표시가 끝납니다.
학습 거부와 검색 노출이 분리된다는 점이 중요합니다. 초안은 이 토큰이 크롤링 행동을 지시하는 것이 아니라고 명시합니다. 크롤러는 자기 이름으로 된 규칙을 전과 똑같이 따르고, 학습 토큰은 가져간 콘텐츠를 어디에 쓸지에 대한 의사만 전달합니다. 구글도 Google-Extended가 검색 포함이나 순위에 영향을 주지 않는다고 문서에 적고 있습니다.
AI 검색 노출을 원하는 사이트에는 또 다른 고려가 생깁니다. 구글은 Google-Extended를 허용한 사이트가 Gemini 앱의 근거 제시 응답에 나타나 클릭을 받을 자격이 있다고 설명했습니다. 마이크로소프트는 근거 제시를 거부하면 AI 경험에서 브랜드 노출이 줄어든다고 밝혔습니다. 학습 거부와 AI 답변 인용 허용을 따로 판단해야 하는 시대가 된 셈입니다.
이 신호는 법적 강제력이 없는 자발적 약속입니다. 참여하지 않는 크롤러는 무시할 수 있고, 이미 수집된 데이터에 소급 적용되지도 않습니다. 그럼에도 구글은 이 방식이 EU AI법의 범용 AI 실천 강령이 robots.txt를 기계가 읽는 의사 표시의 주요 수단으로 인정한 것과 일치한다고 밝혀, 규제 대응 수단으로서의 의미도 있습니다.
기관·기업 홈페이지 담당자가 볼 점
기관·기업 홈페이지 담당자가 지금 당장 robots.txt를 고칠 필요는 없습니다. 구글과 마이크로소프트의 적용 시점은 2027년이고, 초안의 세부 내용은 아직 바뀔 수 있습니다. 다만 우리 홈페이지 콘텐츠를 AI 학습에 쓰게 둘 것인지, AI 답변의 근거 자료로 인용되게 둘 것인지는 지금부터 내부에서 정리해 두는 편이 좋습니다. 두 질문의 답이 다를 수 있기 때문입니다.
먼저 현재 robots.txt에 어떤 AI 크롤러 규칙이 있는지 확인해 보시기 바랍니다. 몇 년 전 담당자가 넣어 둔 'User-Agent: *' 전체 차단이나 특정 봇 차단 규칙이 AI 검색 노출을 막고 있는 경우가 있습니다. 초안에 따르면 와일드카드(*) 그룹은 새 학습 토큰과 무관하게 해석되므로, 학습 의사를 표시하려면 전용 그룹을 따로 적어야 합니다.
빙에서 NoArchive나 NoCache 메타 태그로 AI 사용을 제한해 온 사이트라면 일정이 분명합니다. 2027년 2월 1일부터 새 선호가 적용되고, 3월 1일 이후에는 기존 태그가 학습·근거 제시 선호로 읽히지 않습니다. 해당 사이트는 빙 웹마스터 도구 안내를 보고 2027년 초에 전환 작업을 계획해 두어야 합니다.
홈페이지를 외주로 운영하는 기관은 robots.txt와 메타 태그를 누가 관리하는지도 확인해 두면 좋습니다. 공용 토큰이 적용되는 시점에 한 번 수정하면 되지만, 수정 권한과 절차가 정리돼 있어야 그때 빠르게 반영할 수 있습니다.
- 홈페이지 주소 뒤에 /robots.txt를 붙여 열어 보고, 현재 어떤 User-Agent 규칙이 있는지 기록해 둡니다.
- AI 학습 허용 여부와 AI 답변 인용 허용 여부를 각각 내부에서 결정하고 문서로 남깁니다.
- 빙에서 NoArchive·NoCache 태그를 쓰고 있다면 2027년 3월 1일 전환 기한을 일정에 적어 둡니다.
- 구글 검색 센트럴 블로그와 빙 웹마스터 도구 도움말에서 2027년 적용 공지를 주기적으로 확인합니다.
- robots.txt 수정 권한이 누구에게 있는지 확인하고, 변경 절차를 운영 문서에 적어 둡니다.
출처
- Supporting a shared AI training control for websites – Google Search Central Blog, 2026-10-30
- Your content, your choice: clearer preferences for training and grounding – Microsoft Bing Blog, 2026-10-30
- Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) – IETF Datatracker, 2026-10-30
- New draft: draft-kelley-aipref-training-preference-signal-00 – IETF ai-control 메일링 리스트 (Anthropic), 2026-10-30
- OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences – Unite.AI, 2026-10-30
공개된 자료를 바탕으로 VENOX가 정리한 글입니다. 세부 내용과 최신 변경 사항은 출처 원문을 확인해 주세요.
관련: AI 검색·챗봇 구축 · 홈페이지·CMS 구축 · 도입 문의