Generatore di robots.txt
Scegli un modello, blocca le pagine inutili e i bot IA, aggiungi la sitemap. Copia o scarica il file pronto.
1Modello
2Tutti i robot
User-agent: *Un percorso per riga. L'asterisco * sostituisce qualsiasi carattere, $ indica la fine dell'indirizzo.
Una pausa tra le richieste del robot. Bing e alcuni altri robot la rispettano, Google e Yandex ignorano questa riga.
3Bot IA
4Regole per singoli bot
Per esempio, bloccare i servizi di analisi SEO o togliere le immagini da Google Immagini.
5Sitemap
robots.txt
Metti il file nella radice del sito, in modo che si apra a un indirizzo come example.com/robots.txt.
Robots.txt in un paio di minuti
- 1Scegli un modelloper la tua piattaforma o un sito normale
- 2Imposta le regoleblocca sezioni inutili, bot IA e singoli robot
- 3Carica il filescarica robots.txt e mettilo nella radice del sito
Cos'è robots.txt
È un file di testo nella radice del sito che i robot leggono per primo. Indica quali sezioni si possono scansionare e quali no, e dove si trova la sitemap. Ogni blocco inizia con una riga User-agent, il nome del robot, e l'asterisco indica tutti i robot. Sotto ci sono le regole Disallow (blocca) e Allow (consenti).
Importante: robots.txt controlla la scansione, non l'indicizzazione. Una pagina bloccata in robots.txt può comunque finire nei risultati se altri siti la linkano. Per toglierla davvero dalla ricerca, lasciala aperta al robot e aggiungi il meta tag noindex.
Come bloccare i bot IA
Le aziende di IA scansionano i siti con i propri robot: GPTBot di OpenAI, ClaudeBot di Anthropic, CCBot di Common Crawl, Bytespider di ByteDance. Alcuni raccolgono testi per addestrare i modelli, altri cercano sul momento la risposta alla domanda di un utente. Se blocchi solo l'addestramento, ChatGPT, Claude e Perplexity potranno comunque mostrare link al tuo sito.
Google-Extended e Applebot-Extended non sono robot a parte, ma etichette: vietano a Google e Apple di usare i tuoi testi per la loro IA, senza influire sulla ricerca normale. Ricorda che robots.txt è una richiesta, non una serratura: i bot onesti lo rispettano, ma non protegge i dati privati.
Errori comuni
La più pericolosa è una riga Disallow: / dimenticata nel blocco per tutti i robot dopo lo sviluppo: il sito sparisce dalla ricerca. Non bloccare i file CSS e JavaScript, senza di essi Google non vede la pagina come la vede una persona. Ricorda che un robot con un proprio blocco di regole non segue più le regole generali. Dopo il caricamento, controlla il file in Google Search Console e Yandex Webmaster.
Domande frequenti
Non hai trovato la risposta? Scrivici e ti aiutiamo.
Nella radice del sito, in modo che si apra a un indirizzo come example.com/robots.txt. I robot non trovano un file in una sottocartella. Ogni sottodominio ha bisogno del proprio robots.txt. WordPress, Shopify e Tilda creano il file automaticamente: puoi sostituirlo con il tuo o modificarlo nelle impostazioni.
Non sempre. Vieta al robot di visitare la pagina, ma se ci sono link verso di essa l'indirizzo può comparire nei risultati senza descrizione. Per togliere una pagina dalla ricerca, usa il meta tag robots con noindex e non bloccarla in robots.txt, altrimenti il robot non vedrà mai quel tag.
Attiva "Blocca i bot IA" e scegli "Solo addestramento dei modelli" o "Tutti i bot IA". Nel file finiranno GPTBot, ClaudeBot, Google-Extended, CCBot e altri bot noti. Le grandi aziende rispettano questa regola, ma robots.txt non protegge da chi la ignora.
No. La ricerca normale di Google passa da Googlebot, mentre Google-Extended riguarda solo l'uso dei tuoi testi nell'IA di Google. Ma se blocchi la ricerca IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot), il sito non comparirà più nelle risposte di questi servizi.
Disallow blocca la scansione di un percorso e di tutto ciò che inizia con esso, Allow crea un'eccezione dentro una sezione bloccata. Se le regole sono in conflitto, Google sceglie quella più lunga e precisa. Per esempio, Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php bloccano l'amministrazione ma lasciano aperto un file necessario.
È consigliato. La riga Sitemap indica a tutti i motori di ricerca dove si trova la sitemap, anche a quelli in cui non l'hai aggiunta a mano. L'indirizzo deve essere completo, con https:// e dominio. Le sitemap possono essere più di una, ognuna su una riga.
Prova anche
Anche loro gratis e senza registrazione