Free tool · без регистрации

Robots.txt для AI-ботов.

Чекбоксами выбираете, каких AI-краулеров пускать на сайт — GPTBot, ClaudeBot, Google-Extended, Perplexity и 12+ других. Готовый блок для robots.txt — за 5 секунд.

Allow 5 Disallow 12
Robots.txt17 правил·Allow5·Disallow12
# robots.txt — правила для AI-краулеров
# Сгенерировано на rupor.ai/tools/ai-robots

# OpenAI · GPTBot
User-agent: GPTBot
Disallow: /

# OpenAI · OAI-SearchBot
User-agent: OAI-SearchBot
Allow: /

# OpenAI · ChatGPT-User
User-agent: ChatGPT-User
Allow: /

# Anthropic · ClaudeBot
User-agent: ClaudeBot
Disallow: /

# Anthropic · Claude-Web
User-agent: Claude-Web
Allow: /

# Anthropic · anthropic-ai
User-agent: anthropic-ai
Disallow: /

# Google · Google-Extended
User-agent: Google-Extended
Disallow: /

# Common Crawl · CCBot
User-agent: CCBot
Disallow: /

# Perplexity · PerplexityBot
User-agent: PerplexityBot
Allow: /

# Perplexity · Perplexity-User
User-agent: Perplexity-User
Allow: /

# Яндекс · YandexAdditional
User-agent: YandexAdditional
Disallow: /

# ByteDance · Bytespider
User-agent: Bytespider
Disallow: /

# Diffbot · Diffbot
User-agent: Diffbot
Disallow: /

# Amazon · Amazonbot
User-agent: Amazonbot
Disallow: /

# Meta · Meta-ExternalAgent
User-agent: Meta-ExternalAgent
Disallow: /

# Meta · FacebookBot
User-agent: FacebookBot
Disallow: /

# Apple · Applebot-Extended
User-agent: Applebot-Extended
Disallow: /

Как разместить

  1. Скачайте файл robots.txt или скопируйте блок выше.
  2. Если у вас уже есть robots.txt — добавьте сгенерированные правила в конец, не удаляя существующие Sitemap: и базовые User-agent: *.
  3. Загрузите в корень сайта по адресу /robots.txt и проверьте, что файл открывается в браузере.
Прислать robots.txt + чек-лист настройки AI-ботовФайл, чек-лист «Какие AI-краулеры важно открыть» и материалы по GEO-оптимизации.
Что это

robots.txt — для нейросетей, не для Google.

AI-краулеры (OpenAI, Anthropic, Google, Perplexity, ByteDance и др.) уважают User-agent директивы — можно точечно разрешить real-time поиск и запретить обучение моделей.

01 / Что блокирует robots.txt

Скан AI-краулерами и обучение моделей

Большинство крупных AI-компаний (OpenAI, Anthropic, Google, Perplexity) официально читают robots.txt и не ходят на запрещённые страницы. Это рекомендация, не блокировка на уровне сервера, но крупные игроки её соблюдают.

02 / Training vs real-time

Разные боты — разные задачи

Training-боты (GPTBot, ClaudeBot, Google-Extended, CCBot) забирают контент в датасет для обучения. Real-time-боты (ChatGPT-User, Claude-Web, Perplexity-User) ходят, когда пользователь задаёт вопрос — их обычно стоит пускать ради видимости.

03 / Куда положить

В корень сайта по адресу /robots.txt

https://yoursite.ru/robots.txt. Если файл уже есть — добавьте сгенерированный блок в конец. Изменения применяются сразу после загрузки, переиндексация AI-краулерами — обычно от часов до дней.