Генератор robots.txt
Виберіть шаблон, закрийте зайві сторінки та ШІ-ботів, додайте карту сайту. Готовий файл можна скопіювати або завантажити.
1Шаблон
2Усі роботи
User-agent: *По одному шляху в рядку. Зірочка * замінює будь-які символи, $ означає кінець адреси.
Пауза між запитами робота. Її враховують Bing і деякі інші роботи, Google і Яндекс цей рядок пропускають.
3ШІ-боти
4Правила для окремих ботів
Наприклад, закрити сайт від сервісів SEO-аналітики або прибрати картинки з Google Картинок.
5Карта сайту
robots.txt
Покладіть файл у корінь сайту, щоб він відкривався за адресою виду example.com/robots.txt.
robots.txt за кілька хвилин
- 1Виберіть шаблонпід свою платформу або звичайний сайт
- 2Налаштуйте правилазакрийте зайві розділи, ШІ-ботів та окремих роботів
- 3Завантажте файл на сайтзавантажте robots.txt і покладіть його в корінь сайту
Що таке robots.txt
Це текстовий файл у корені сайту, який роботи читають першим. У ньому написано, які розділи можна обходити, а які ні, і де лежить карта сайту. Кожен блок починається з рядка User-agent - імені робота, зірочка означає всіх роботів. Нижче йдуть правила Disallow (заборонити) і Allow (дозволити).
Важливо: robots.txt керує обходом, а не індексом. Сторінка, закрита в robots.txt, однаково може потрапити в пошук, якщо на неї посилаються інші сайти. Щоб точно прибрати сторінку з пошуку, залиште її відкритою для робота і додайте мета-тег noindex.
Як закрити сайт від ШІ-ботів
Компанії, які роблять нейромережі, обходять сайти своїми роботами: GPTBot в OpenAI, ClaudeBot в Anthropic, CCBot в Common Crawl, Bytespider у ByteDance. Одні збирають тексти для навчання моделей, інші шукають відповідь на питання користувача просто зараз. Якщо закрити лише навчання, ChatGPT, Claude і Perplexity, як і раніше, зможуть показувати посилання на ваш сайт.
Google-Extended і Applebot-Extended - не окремі роботи, а мітки: вони забороняють використовувати ваші тексти для ШІ Google і Apple, але не впливають на звичайний пошук. Памʼятайте, що robots.txt - це прохання, а не замок: чесні боти його дотримуються, але захистити ним закриті дані не можна.
Часті помилки
Найнебезпечніша - рядок Disallow: / у блоці для всіх роботів, що залишився після розробки: сайт зникає з пошуку. Не закривайте файли CSS і JavaScript - без них Google не бачить сторінку так, як бачить людина. Памʼятайте, що для робота зі своїм блоком правил загальні правила для всіх уже не діють. Після завантаження перевірте файл у Google Search Console та Яндекс Вебмайстрі.
Часті запитання
Не знайшли відповідь - напишіть нам, підкажемо.
У корінь сайту, щоб він відкривався за адресою виду example.com/robots.txt. Файл у підпапці роботи не знайдуть. У кожного піддомену має бути свій robots.txt. У WordPress, Shopify і Tilda файл створюється автоматично - його можна замінити своїм або змінити в налаштуваннях.
Не завжди. Він забороняє роботу заходити на сторінку, але якщо на неї є посилання, адреса може зʼявитися у видачі без опису. Щоб прибрати сторінку з пошуку, використовуйте мета-тег robots зі значенням noindex і не закривайте її в robots.txt, інакше робот цей тег не побачить.
Увімкніть «Закрити сайт від ШІ-ботів» і виберіть «Лише навчання моделей» або «Усі ШІ-боти». У файл потраплять GPTBot, ClaudeBot, Google-Extended, CCBot та інші відомі боти. Великі компанії дотримуються цього правила, але захисту від тих, хто його ігнорує, robots.txt не дає.
Ні. Звичайний пошук Google працює через Googlebot, а Google-Extended відповідає лише за використання текстів в ШІ Google. Але якщо закрити ШІ-пошук (OAI-SearchBot, PerplexityBot, Claude-SearchBot), сайт перестане зʼявлятися у відповідях цих сервісів.
Disallow забороняє обхід шляху і всього, що з нього починається, Allow робить виняток усередині закритого розділу. Якщо правила суперечать одне одному, Google вибирає довше й точніше. Наприклад, Disallow: /wp-admin/ і Allow: /wp-admin/admin-ajax.php закривають адмінку, але залишають один потрібний файл.
Бажано. Рядок Sitemap підказує всім пошуковикам, де лежить карта сайту, навіть тим, куди ви її не додавали вручну. Адреса має бути повною, з https:// і доменом. Карт може бути кілька - кожна на своєму рядку.
Спробуйте також
Теж безкоштовно і без реєстрації