robots.txt Üretici
Yapay zekâ bot politikanızı seçin, doğrulanmış robots.txt dosyanızı alın.
Analiz sonucu
Sıkça sorulan sorular
+− Hangi yapay zekâ politikasını seçmeliyim?
Çoğu site için "Aramaya izin ver, eğitimi engelle" doğru tercihtir: ChatGPT ve Perplexity yanıtlarında kaynak gösterilirsiniz ama içeriğiniz model eğitiminde kullanılmaz. "Hepsini engelle" seçeneği üretken arama görünürlüğünüzü tamamen kapatır.
+− Ürettiğiniz dosyayı doğruluyor musunuz?
Evet. Çıktı kendi robots.txt kural motorumuzdan geçirilir ve hangi botun nereye erişebildiği gerçekten hesaplanır. Googlebot yanlışlıkla engellenmişse araç bunu kritik uyarı olarak bildirir.
+− Crawl-delay eklemeli miyim?
Google bu direktifi tamamen yok sayar. Yalnızca sunucunuz agresif tarayıcılar yüzünden zorlanıyorsa ve o botlar direktife uyuyorsa anlamlıdır. Genelde boş bırakın.