robots.txt-Generator
Wähle eine Vorlage, sperre unnötige Seiten und KI-Bots, füge die Sitemap hinzu. Die fertige Datei kannst du kopieren oder herunterladen.
1Vorlage
2Alle Robots
User-agent: *Ein Pfad pro Zeile. Das Sternchen * steht für beliebige Zeichen, $ für das Ende der Adresse.
Eine Pause zwischen den Anfragen des Robots. Bing und einige andere Robots beachten sie, Google und Yandex ignorieren diese Zeile.
3KI-Bots
4Regeln für einzelne Bots
Zum Beispiel SEO-Analysedienste sperren oder deine Bilder aus der Google Bildersuche heraushalten.
5Sitemap
robots.txt
Lege die Datei ins Stammverzeichnis der Website, damit sie unter einer Adresse wie example.com/robots.txt erreichbar ist.
Robots.txt in wenigen Minuten
- 1Vorlage wählenfür deine Plattform oder eine normale Website
- 2Regeln einstellensperre unnötige Bereiche, KI-Bots und einzelne Robots
- 3Datei hochladenlade die robots.txt herunter und lege sie ins Stammverzeichnis
Was ist robots.txt
Das ist eine Textdatei im Stammverzeichnis der Website, die Robots als Erstes lesen. Darin steht, welche Bereiche gecrawlt werden dürfen und welche nicht und wo die Sitemap liegt. Jeder Block beginnt mit einer User-agent-Zeile, dem Namen des Robots, ein Sternchen steht für alle Robots. Darunter folgen die Regeln Disallow (sperren) und Allow (erlauben).
Wichtig: robots.txt steuert das Crawling, nicht die Indexierung. Eine in robots.txt gesperrte Seite kann trotzdem in der Suche landen, wenn andere Websites darauf verlinken. Um eine Seite sicher aus der Suche zu nehmen, lass sie für den Robot offen und setze das Meta-Tag noindex.
So sperrst du KI-Bots
KI-Firmen crawlen Websites mit eigenen Robots: GPTBot von OpenAI, ClaudeBot von Anthropic, CCBot von Common Crawl, Bytespider von ByteDance. Manche sammeln Texte zum Training von Modellen, andere suchen gerade die Antwort auf die Frage eines Nutzers. Sperrst du nur das Training, können ChatGPT, Claude und Perplexity weiterhin Links zu deiner Website zeigen.
Google-Extended und Applebot-Extended sind keine eigenen Robots, sondern Kennungen: Sie verbieten Google und Apple, deine Texte für ihre KI zu nutzen, und wirken sich nicht auf die normale Suche aus. Denk daran: robots.txt ist eine Bitte, kein Schloss. Seriöse Bots halten sich daran, private Daten schützt die Datei aber nicht.
Häufige Fehler
Am gefährlichsten ist eine nach der Entwicklung vergessene Zeile Disallow: / im Block für alle Robots: Die Website verschwindet aus der Suche. Sperre keine CSS- und JavaScript-Dateien, ohne sie sieht Google die Seite nicht so wie ein Mensch. Denk daran, dass ein Robot mit eigenem Regelblock die allgemeinen Regeln nicht mehr beachtet. Prüfe die Datei nach dem Hochladen in der Google Search Console und in Yandex Webmaster.
Häufige Fragen
Keine Antwort gefunden? Schreib uns, wir helfen dir.
Ins Stammverzeichnis der Website, damit sie unter einer Adresse wie example.com/robots.txt erreichbar ist. In einem Unterordner finden Robots die Datei nicht. Jede Subdomain braucht ihre eigene robots.txt. WordPress, Shopify und Tilda erstellen die Datei automatisch, du kannst sie durch deine ersetzen oder in den Einstellungen anpassen.
Nicht immer. Sie verbietet dem Robot, die Seite aufzurufen, aber wenn Links darauf zeigen, kann die Adresse ohne Beschreibung in den Ergebnissen erscheinen. Um eine Seite aus der Suche zu entfernen, nutze das Meta-Tag robots mit noindex und sperre sie nicht in robots.txt, sonst sieht der Robot dieses Tag nie.
Schalte "KI-Bots sperren" ein und wähle "Nur Modelltraining" oder "Alle KI-Bots". In die Datei kommen GPTBot, ClaudeBot, Google-Extended, CCBot und andere bekannte Bots. Große Firmen halten sich an diese Regel, vor Bots, die sie ignorieren, schützt robots.txt aber nicht.
Nein. Die normale Google-Suche läuft über Googlebot, Google-Extended regelt nur die Nutzung deiner Texte in Googles KI. Sperrst du aber die KI-Suche (OAI-SearchBot, PerplexityBot, Claude-SearchBot), taucht deine Website nicht mehr in den Antworten dieser Dienste auf.
Disallow sperrt das Crawling eines Pfads und von allem, was damit beginnt, Allow macht eine Ausnahme in einem gesperrten Bereich. Widersprechen sich Regeln, wählt Google die längere, genauere. Zum Beispiel sperren Disallow: /wp-admin/ und Allow: /wp-admin/admin-ajax.php den Adminbereich, lassen aber eine benötigte Datei offen.
Empfehlenswert. Die Sitemap-Zeile zeigt allen Suchmaschinen, wo die Sitemap liegt, auch denen, bei denen du sie nicht von Hand eingereicht hast. Die Adresse muss vollständig sein, mit https:// und Domain. Du kannst mehrere Sitemaps angeben, jede in einer eigenen Zeile.
Probieren Sie auch
Ebenfalls kostenlos und ohne Anmeldung