Генератор robots.txt
Выберите шаблон, закройте лишние страницы и ИИ-ботов, добавьте карту сайта. Готовый файл можно скопировать или скачать.
1Шаблон
2Все роботы
User-agent: *По одному пути в строке. Звёздочка * заменяет любые символы, $ означает конец адреса.
Пауза между запросами робота. Её учитывают Bing и некоторые другие роботы, Google и Яндекс эту строку пропускают.
3ИИ-боты
4Правила для отдельных ботов
Например, закрыть сайт от сервисов SEO-аналитики или убрать картинки из Google Картинок.
5Карта сайта
robots.txt
Положите файл в корень сайта, чтобы он открывался по адресу вида example.com/robots.txt.
robots.txt за пару минут
- 1Выберите шаблонпод свою платформу или обычный сайт
- 2Настройте правилазакройте лишние разделы, ИИ-ботов и отдельных роботов
- 3Загрузите файлскачайте robots.txt и положите его в корень сайта
Что такое robots.txt
Это текстовый файл в корне сайта, который роботы читают первым. В нём написано, какие разделы можно обходить, а какие нет, и где лежит карта сайта. Каждый блок начинается со строки User-agent - имени робота, звёздочка означает всех роботов. Ниже идут правила Disallow (запретить) и Allow (разрешить).
Важно: robots.txt управляет обходом, а не индексом. Страница, закрытая в robots.txt, всё равно может попасть в поиск, если на неё ссылаются другие сайты. Чтобы точно убрать страницу из поиска, оставьте её открытой для робота и добавьте мета-тег noindex.
Как закрыть сайт от ИИ-ботов
Компании, которые делают нейросети, обходят сайты своими роботами: GPTBot у OpenAI, ClaudeBot у Anthropic, CCBot у Common Crawl, Bytespider у ByteDance. Одни собирают тексты для обучения моделей, другие ищут ответ на вопрос пользователя прямо сейчас. Если закрыть только обучение, ChatGPT, Claude и Perplexity по-прежнему смогут показывать ссылки на ваш сайт.
Google-Extended и Applebot-Extended - не отдельные роботы, а метки: они запрещают использовать ваши тексты для ИИ Google и Apple, но не влияют на обычный поиск. Помните, что robots.txt - это просьба, а не замок: честные боты его соблюдают, но защитить им закрытые данные нельзя.
Частые ошибки
Самая опасная - строка Disallow: / в блоке для всех роботов, оставшаяся после разработки: сайт пропадает из поиска. Не закрывайте файлы CSS и JavaScript - без них Google не видит страницу так, как видит человек. Помните, что у робота со своим блоком правил общие правила для всех уже не действуют. После загрузки проверьте файл в Google Search Console и Яндекс Вебмастере.
Частые вопросы
Не нашли ответ - напишите нам, подскажем.
В корень сайта, чтобы он открывался по адресу вида example.com/robots.txt. Файл в подпапке роботы не найдут. У каждого поддомена должен быть свой robots.txt. В WordPress, Shopify и Tilda файл создаётся автоматически - его можно заменить своим или поправить в настройках.
Не всегда. Он запрещает роботу заходить на страницу, но если на неё есть ссылки, адрес может появиться в выдаче без описания. Чтобы убрать страницу из поиска, используйте мета-тег robots со значением noindex и не закрывайте её в robots.txt, иначе робот этот тег не увидит.
Включите «Закрыть сайт от ИИ-ботов» и выберите «Только обучение моделей» или «Все ИИ-боты». В файл попадут GPTBot, ClaudeBot, Google-Extended, CCBot и другие известные боты. Крупные компании это правило соблюдают, но защиты от тех, кто его игнорирует, robots.txt не даёт.
Нет. Обычный поиск Google работает через Googlebot, а Google-Extended отвечает только за использование текстов в ИИ Google. Но если закрыть ИИ-поиск (OAI-SearchBot, PerplexityBot, Claude-SearchBot), сайт перестанет появляться в ответах этих сервисов.
Disallow запрещает обход пути и всего, что начинается с него, Allow делает исключение внутри закрытого раздела. Если правила спорят, Google выбирает более длинное и точное. Например, Disallow: /wp-admin/ и Allow: /wp-admin/admin-ajax.php закрывают админку, но оставляют один нужный файл.
Желательно. Строка Sitemap подсказывает всем поисковикам, где лежит карта сайта, даже тем, куда вы её не добавляли вручную. Адрес должен быть полным, с https:// и доменом. Карт может быть несколько - каждая на своей строке.
Попробуйте также
Тоже бесплатно и без регистрации