robots.txt oluşturucu
Bir şablon seç, gereksiz sayfaları ve yapay zeka botlarını engelle, site haritasını ekle. Hazır dosyayı kopyala ya da indir.
1Şablon
2Tüm robotlar
User-agent: *Her satıra bir yol. Yıldız * herhangi bir karakter dizisi yerine geçer, $ adresin sonunu belirtir.
Robotun istekleri arasındaki bekleme süresi. Bing ve bazı diğer robotlar buna uyar, Google ve Yandex bu satırı yok sayar.
3Yapay zeka botları
4Belirli botlar için kurallar
Örneğin SEO analiz servislerini engelle ya da görsellerini Google Görseller'den çıkar.
5Site haritası
robots.txt
Dosyayı sitenin kök dizinine koy, example.com/robots.txt gibi bir adreste açılsın.
Birkaç dakikada robots.txt
- 1Şablon seçplatformuna ya da normal bir siteye göre
- 2Kuralları ayarlagereksiz bölümleri, yapay zeka botlarını ve belirli robotları engelle
- 3Dosyayı yüklerobots.txt dosyasını indir ve sitenin kök dizinine koy
Robots.txt nedir
Sitenin kök dizinindeki, robotların ilk okuduğu bir metin dosyasıdır. Hangi bölümlerin taranabileceğini, hangilerinin taranamayacağını ve site haritasının nerede olduğunu söyler. Her blok, robotun adını veren User-agent satırıyla başlar; yıldız tüm robotlar demektir. Altında Disallow (engelle) ve Allow (izin ver) kuralları gelir.
Önemli: robots.txt taramayı yönetir, dizine eklemeyi değil. robots.txt ile engellenen bir sayfa, başka siteler ona bağlantı veriyorsa yine de aramada görünebilir. Bir sayfayı aramadan kesin olarak çıkarmak için onu robota açık bırak ve noindex meta etiketini ekle.
Yapay zeka botları nasıl engellenir
Yapay zeka şirketleri siteleri kendi robotlarıyla tarar: OpenAI'nin GPTBot'u, Anthropic'in ClaudeBot'u, Common Crawl'un CCBot'u, ByteDance'in Bytespider'ı. Bazıları model eğitmek için metin toplar, bazıları ise o anda bir kullanıcının sorusuna yanıt arar. Yalnızca eğitimi engellersen ChatGPT, Claude ve Perplexity siteye bağlantı göstermeye devam edebilir.
Google-Extended ve Applebot-Extended ayrı robotlar değil, işaretlerdir: Google ve Apple'ın metinlerini yapay zekaları için kullanmasını yasaklar, normal aramayı etkilemez. Unutma, robots.txt bir kilit değil, bir ricadır: dürüst botlar uyar ama gizli verileri korumaz.
Sık yapılan hatalar
En tehlikelisi, geliştirmeden sonra tüm robotların bloğunda unutulan Disallow: / satırıdır: site aramadan kaybolur. CSS ve JavaScript dosyalarını engelleme, onlar olmadan Google sayfayı bir insanın gördüğü gibi göremez. Kendi kural bloğu olan bir robotun artık genel kurallara uymadığını unutma. Yükledikten sonra dosyayı Google Search Console ve Yandex Webmaster'da kontrol et.
Sık sorulan sorular
Yanıt bulamadınız mı? Bize yazın, yardımcı olalım.
Sitenin kök dizinine, example.com/robots.txt gibi bir adreste açılacak şekilde. Alt klasördeki dosyayı robotlar bulamaz. Her alt alan adının kendi robots.txt dosyası olmalı. WordPress, Shopify ve Tilda dosyayı otomatik oluşturur; onu kendi dosyanla değiştirebilir ya da ayarlardan düzenleyebilirsin.
Her zaman değil. Robotun sayfaya girmesini yasaklar ama sayfaya bağlantılar varsa adres sonuçlarda açıklamasız görünebilir. Bir sayfayı aramadan kaldırmak için noindex değerli robots meta etiketini kullan ve sayfayı robots.txt ile engelleme, yoksa robot bu etiketi göremez.
"Yapay zeka botlarını engelle" seçeneğini aç ve "Yalnızca model eğitimi" ya da "Tüm yapay zeka botları" seç. Dosyaya GPTBot, ClaudeBot, Google-Extended, CCBot ve diğer bilinen botlar eklenir. Büyük şirketler bu kurala uyar ama robots.txt onu yok sayanlara karşı koruma sağlamaz.
Hayır. Normal Google araması Googlebot ile çalışır, Google-Extended ise yalnızca metinlerinin Google'ın yapay zekasında kullanılmasını belirler. Ama yapay zeka aramasını (OAI-SearchBot, PerplexityBot, Claude-SearchBot) engellersen site bu servislerin yanıtlarında görünmez olur.
Disallow bir yolun ve onunla başlayan her şeyin taranmasını engeller, Allow ise engellenmiş bir bölüm içinde istisna yapar. Kurallar çelişirse Google daha uzun ve daha belirgin olanı seçer. Örneğin Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php yönetim panelini kapatır ama gerekli bir dosyayı açık bırakır.
Önerilir. Sitemap satırı, site haritasının yerini tüm arama motorlarına, elle eklemediklerine bile bildirir. Adres https:// ve alan adıyla tam olmalı. Birden fazla harita olabilir, her biri ayrı satırda.
Bunları da deneyin
Onlar da ücretsiz ve kayıtsız