Generador de robots.txt
Elige una plantilla, bloquea las páginas que sobran y los bots de IA, añade el mapa del sitio. Copia o descarga el archivo listo.
1Plantilla
2Todos los robots
User-agent: *Una ruta por línea. El asterisco * sustituye cualquier carácter, $ marca el final de la URL.
Una pausa entre las solicitudes del robot. Bing y algunos otros robots la respetan, Google y Yandex ignoran esta línea.
3Bots de IA
4Reglas para bots concretos
Por ejemplo, bloquear los servicios de análisis SEO o sacar tus imágenes de Google Imágenes.
5Mapa del sitio
robots.txt
Coloca el archivo en la raíz del sitio para que se abra en una dirección como example.com/robots.txt.
Robots.txt en un par de minutos
- 1Elige una plantillapara tu plataforma o un sitio normal
- 2Ajusta las reglasbloquea secciones que sobran, bots de IA y robots concretos
- 3Sube el archivodescarga robots.txt y colócalo en la raíz del sitio
Qué es robots.txt
Es un archivo de texto en la raíz del sitio que los robots leen primero. Indica qué secciones se pueden rastrear y cuáles no, y dónde está el mapa del sitio. Cada bloque empieza con una línea User-agent, el nombre del robot; el asterisco significa todos los robots. Debajo van las reglas Disallow (bloquear) y Allow (permitir).
Importante: robots.txt controla el rastreo, no la indexación. Una página bloqueada en robots.txt puede aparecer en los resultados si otros sitios la enlazan. Para sacarla de verdad del buscador, déjala abierta al robot y añade la metaetiqueta noindex.
Cómo bloquear los bots de IA
Las empresas de IA rastrean los sitios con sus propios robots: GPTBot de OpenAI, ClaudeBot de Anthropic, CCBot de Common Crawl, Bytespider de ByteDance. Unos recopilan textos para entrenar modelos y otros buscan en ese momento la respuesta a la pregunta de un usuario. Si bloqueas solo el entrenamiento, ChatGPT, Claude y Perplexity podrán seguir mostrando enlaces a tu sitio.
Google-Extended y Applebot-Extended no son robots aparte, sino marcas: impiden que Google y Apple usen tus textos para su IA, sin afectar a la búsqueda normal. Recuerda que robots.txt es una petición, no un candado: los bots honestos lo respetan, pero no sirve para proteger datos privados.
Errores frecuentes
El más peligroso es una línea Disallow: / olvidada en el bloque para todos los robots tras el desarrollo: el sitio desaparece del buscador. No bloquees los archivos CSS y JavaScript, sin ellos Google no ve la página como la ve una persona. Recuerda que un robot con su propio bloque de reglas ya no sigue las reglas generales. Después de subir el archivo, compruébalo en Google Search Console y Yandex Webmaster.
Preguntas frecuentes
¿No encuentras la respuesta? Escríbenos y te ayudamos.
En la raíz del sitio, para que se abra en una dirección como example.com/robots.txt. Los robots no encontrarán un archivo en una subcarpeta. Cada subdominio necesita su propio robots.txt. WordPress, Shopify y Tilda crean el archivo automáticamente; puedes sustituirlo por el tuyo o editarlo en la configuración.
No siempre. Impide que el robot entre en la página, pero si hay enlaces a ella, la dirección puede aparecer en los resultados sin descripción. Para sacar una página del buscador, usa la metaetiqueta robots con noindex y no la bloquees en robots.txt, o el robot no verá esa etiqueta.
Activa "Bloquear los bots de IA" y elige "Solo entrenamiento de modelos" o "Todos los bots de IA". En el archivo aparecerán GPTBot, ClaudeBot, Google-Extended, CCBot y otros bots conocidos. Las grandes empresas respetan esta regla, pero robots.txt no protege frente a quienes la ignoran.
No. La búsqueda normal de Google funciona con Googlebot, y Google-Extended solo controla el uso de tus textos en la IA de Google. Pero si bloqueas la búsqueda con IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot), tu sitio dejará de aparecer en las respuestas de esos servicios.
Disallow bloquea el rastreo de una ruta y de todo lo que empieza por ella, Allow crea una excepción dentro de una sección bloqueada. Si las reglas chocan, Google elige la más larga y precisa. Por ejemplo, Disallow: /wp-admin/ y Allow: /wp-admin/admin-ajax.php bloquean el panel pero dejan abierto un archivo necesario.
Es recomendable. La línea Sitemap indica a todos los buscadores dónde está el mapa del sitio, incluso a aquellos donde no lo añadiste a mano. La dirección debe ser completa, con https:// y el dominio. Puede haber varios mapas, cada uno en su línea.
Prueba también
También gratis y sin registro