Générateur de robots.txt
Choisissez un modèle, bloquez les pages inutiles et les robots d'IA, ajoutez le plan du site. Copiez ou téléchargez le fichier prêt.
1Modèle
2Tous les robots
User-agent: *Un chemin par ligne. L'astérisque * remplace n'importe quels caractères, $ marque la fin de l'adresse.
Une pause entre les requêtes du robot. Bing et quelques autres robots la respectent, Google et Yandex ignorent cette ligne.
3Robots d'IA
4Règles pour des robots précis
Par exemple, bloquer les services d'analyse SEO ou retirer vos images de Google Images.
5Plan du site
robots.txt
Placez le fichier à la racine du site pour qu'il s'ouvre à une adresse du type example.com/robots.txt.
Un robots.txt en quelques minutes
- 1Choisissez un modèlepour votre plateforme ou un site classique
- 2Réglez les règlesbloquez les sections inutiles, les robots d'IA et certains robots
- 3Mettez le fichier en lignetéléchargez robots.txt et placez-le à la racine du site
Qu'est-ce que robots.txt
C'est un fichier texte à la racine du site que les robots lisent en premier. Il indique quelles sections peuvent être explorées, lesquelles non, et où se trouve le plan du site. Chaque bloc commence par une ligne User-agent, le nom du robot, et l'astérisque désigne tous les robots. Viennent ensuite les règles Disallow (interdire) et Allow (autoriser).
Important : robots.txt gère l'exploration, pas l'indexation. Une page bloquée dans robots.txt peut quand même apparaître dans les résultats si d'autres sites pointent vers elle. Pour la retirer à coup sûr, laissez-la ouverte au robot et ajoutez la balise meta noindex.
Comment bloquer les robots d'IA
Les entreprises d'IA explorent les sites avec leurs propres robots : GPTBot d'OpenAI, ClaudeBot d'Anthropic, CCBot de Common Crawl, Bytespider de ByteDance. Certains collectent des textes pour entraîner les modèles, d'autres cherchent sur le moment la réponse à la question d'un utilisateur. Si vous bloquez seulement l'entraînement, ChatGPT, Claude et Perplexity pourront toujours afficher des liens vers votre site.
Google-Extended et Applebot-Extended ne sont pas des robots à part, mais des marqueurs : ils interdisent à Google et Apple d'utiliser vos textes pour leur IA, sans effet sur la recherche classique. N'oubliez pas que robots.txt est une demande, pas un verrou : les robots honnêtes le respectent, mais il ne protège pas des données privées.
Erreurs fréquentes
La plus dangereuse : une ligne Disallow: / oubliée dans le bloc pour tous les robots après le développement, et le site disparaît des résultats. Ne bloquez pas les fichiers CSS et JavaScript, sans eux Google ne voit pas la page comme un humain. Un robot qui a son propre bloc de règles ne suit plus les règles générales. Après la mise en ligne, vérifiez le fichier dans Google Search Console et Yandex Webmaster.
Questions fréquentes
Pas de réponse ? Écrivez-nous, on vous aide.
À la racine du site, pour qu'il s'ouvre à une adresse du type example.com/robots.txt. Les robots ne trouveront pas un fichier placé dans un sous-dossier. Chaque sous-domaine a besoin de son propre robots.txt. WordPress, Shopify et Tilda créent le fichier automatiquement : vous pouvez le remplacer par le vôtre ou le modifier dans les réglages.
Pas toujours. Il interdit au robot de visiter la page, mais si des liens pointent vers elle, l'adresse peut apparaître dans les résultats sans description. Pour retirer une page de la recherche, utilisez la balise meta robots avec noindex et ne la bloquez pas dans robots.txt, sinon le robot ne verra jamais cette balise.
Activez "Bloquer les robots d'IA" et choisissez "Entraînement des modèles seulement" ou "Tous les robots d'IA". Le fichier listera GPTBot, ClaudeBot, Google-Extended, CCBot et d'autres robots connus. Les grandes entreprises respectent cette règle, mais robots.txt ne protège pas contre ceux qui l'ignorent.
Non. La recherche Google classique passe par Googlebot, Google-Extended ne concerne que l'usage de vos textes dans l'IA de Google. Mais si vous bloquez la recherche par IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot), votre site n'apparaîtra plus dans les réponses de ces services.
Disallow interdit l'exploration d'un chemin et de tout ce qui commence par lui, Allow crée une exception dans une section bloquée. Quand les règles se contredisent, Google retient la plus longue et la plus précise. Par exemple, Disallow: /wp-admin/ et Allow: /wp-admin/admin-ajax.php bloquent l'administration mais laissent ouvert un fichier utile.
C'est conseillé. La ligne Sitemap indique à tous les moteurs où se trouve le plan du site, même à ceux où vous ne l'avez pas ajouté à la main. L'adresse doit être complète, avec https:// et le domaine. Vous pouvez en indiquer plusieurs, chacun sur sa ligne.
Essayez aussi
Gratuits aussi, sans inscription