robots.txt'te hangi yapay zekâ botlarına izin vermeliyim?
robots.txt'te izin verilmesi gereken yapay zekâ botları, soru sorulduğu anda siteyi okuyup cevabın içinde kaynak gösteren arama ve kullanıcı botlarıdır. GeoSorgu 12 botu test eder: 9'u arama ve kullanıcı botu, 3'ü eğitim botudur. Arama botları açık kalmalı, eğitim botları tercihe bırakılmalıdır; Google-Extended ise yalnızca Gemini eğitimini kapatır. Türkiye'de taradığımız KOBİ sitelerinde ilk bulgu çoğunlukla bu dosyadaki tek bir yanlış satırdır.
Yazar: Ahmet Okan ŞEKER, Elektrik Elektronik Yüksek Mühendisi · Son güncelleme: 21 Ekim 2026 · 6 dakika okuma
Hangi botlar açık kalmalı?
Açık kalması gereken botlar, soru sorulduğu anda siteyi okuyup cevapta kaynak gösteren 9 arama ve kullanıcı botudur. OpenAI'ye göre OAI-SearchBot ChatGPT aramasını besler, ChatGPT-User ise kullanıcının o an açtığı sayfayı okur. Anthropic için aynı çift Claude-SearchBot ve Claude-User adını taşır. PerplexityBot Perplexity cevaplarını, Googlebot ise Google AI Modu ve AI Overviews özetlerini besler. Bingbot Copilot'a, Applebot Siri'ye, Amazonbot ise Alexa'ya kaynak sağlar. Dokuz adresten biri engellendiğinde sitenizin o motorun cevabına girme yolu kapanır. GeoSorgu taramasında her biri ayrı satırda test edilir; kapalı çıkan her satır Teknik Altyapı puanını düşürür.
Eğitim botları kapatılmalı mı?
Eğitim botları, sayfayı o anki cevap için değil model eğitimi için okuyan GPTBot, ClaudeBot ve CCBot adlı 3 bottur. Kapatmak sitenin yapay zekâ cevabına girmesini engellemez; OpenAI'ye göre arama ve eğitim tarayıcıları ayrı ayrı yönetilir. GPTBot 2023 yılında duyuruldu ve o günden beri Disallow satırıyla kapatılabilir. Karar bir tercihtir: içeriğinin modele girmesini istemeyen yayıncı kapatır, tanınmak isteyen KOBİ açık bırakır. GeoSorgu 3 eğitim botunu puanlamaz, yalnızca durumunu raporlar.
“Arama botunu kapatan site, müşterinin sorduğu soruya aday bile olamaz; önce kapıyı açarız, sonra içeriği konuşuruz.”
Google-Extended neyi kapatır?
Google-Extended, yalnızca Gemini modellerinin eğitimini kapatan ve aramayı etkilemeyen bir robots.txt anahtarıdır. Google'a göre Google-Extended için yazılan Disallow satırı ne aramayı ne de AI Modu'nu kapsar. AI Overviews ve AI Modu özetleri Googlebot ile beslenir; sitenin cevaplarda görünmesini sağlayan tek tarayıcı odur. Dolayısıyla Google-Extended'ı kapatan bir site Gemini eğitimine girmez ama AI Modu'nda yine kaynak gösterilebilir. Ters yöndeki hata daha sık görülür: Googlebot'u kapatıp Google-Extended'ı açık bırakan site, 2025'ten beri Türkçe açık olan AI Modu'ndan tamamen düşer. Satır biçimi şudur: User-agent: Google-Extended, altına Disallow: / yazılır.
403 ile robots.txt engeli arasındaki fark nedir?
403 ile robots.txt arasındaki fark, birinin rica diğerinin kilit olmasıdır. robots.txt dosyasındaki Disallow satırı bota girme der; saygılı bot uyar, sayfa yine herkese açıktır. 403 ise sunucunun ya da güvenlik duvarının verdiği red cevabıdır; bot sayfayı hiç göremez. Cloudflare'in 2024 yılında açtığı tek tıkla yapay zekâ engeli ve bazı WordPress güvenlik eklentileri 403 üretir. Site sahibi dosyayı temiz görür ama bot yine içeri giremez. GeoSorgu her botla gerçek istek atar ve dönen kodu yazar: 200 açık, 403 kapalı, Disallow engeli ayrı sütunda. İki engel de kalkmadan puan artmaz.
Sunucu günlüğünde bot nasıl kontrol edilir?
Sunucu günlüğü, hangi botun hangi sayfaya ne zaman girdiğini ve aldığı kodu gösteren kayıt dosyasıdır. cPanel ve Plesk'te dosya Ham Erişim Günlükleri başlığı altında durur; Cloudflare'de Güvenlik, Olaylar ekranı aynı işi görür. Dosyanın user-agent sütununda GPTBot, OAI-SearchBot ya da PerplexityBot aranır. Yanındaki kod 200 ise bot sayfayı okudu, 403 ise reddedildi, 301 ise başka adrese yönlendi demektir. Son 30 güne bakmak yeterlidir; aktif bir sitede Googlebot haftada birkaç kez görünür. Hiç kayıt yoksa iki olasılık vardır: bot engellidir ya da site hiçbir cevapta aday olmamıştır. GeoSorgu taraması günlük okumayı tek tıkla yerine koyar; 12 botun aldığı kod sonuç sayfasında listelenir.
WordPress ve Cloudflare'de ayar nerede yapılır?
WordPress'te robots.txt ayarı, Yoast ya da Rank Math eklentisinin Araçlar menüsündeki dosya düzenleyicisidir. Dosyaya şu iki satır eklenir: User-agent: OAI-SearchBot ve Allow: /; aynı biçim 9 arama botu için tekrarlanır. Eğitim botunu kapatmak isteyen User-agent: GPTBot ve Disallow: / yazar. Cloudflare'de ise Güvenlik, Botlar ekranındaki yapay zekâ tarayıcılarını engelle anahtarı kapatılır; açık kaldığında 9 arama botu da 403 alır. Cloudflare'e göre anahtar 2024'ten beri bütün hesaplarda bulunur ve Temmuz 2025'ten beri yeni alan adlarında varsayılan olarak açık gelir. Wix ve Shopify'da dosya yalnızca panelden düzenlenir; yükleme yoktur. Değişiklikten sonra GeoSorgu'da yeniden tarama 30 saniyede sonucu doğrular; 12 satırın tamamı yeşil olmalıdır.
Sık sorulanlar
Tüm yapay zekâ botlarını engellersem ne olur?
+
Siteniz ChatGPT, Perplexity ve Google AI Modu cevaplarında kaynak gösterilemez. Klasik arama trafiği sürer ama yapay zekâ üzerinden gelen müşteri yolu kapanır.
GPTBot'u kapatırsam ChatGPT'de görünmez miyim?
+
Hayır, ChatGPT cevapları OAI-SearchBot ile beslenir; GPTBot yalnızca eğitim verisi toplar. OAI-SearchBot açıksa site ChatGPT aramasında kaynak gösterilebilir.
robots.txt değişikliği ne zaman etkili olur?
+
Değişiklik botun bir sonraki ziyaretinde etkili olur; Google'a göre dosya en fazla 24 saat önbellekte tutulur. GeoSorgu'daki yeniden tarama ise hemen sonuç verir.
Bot engelini kaldırmak puanı ne kadar artırır?
+
Bot engeli, ilk 3 düzeltmenin ilkidir; üçü birlikte 1 iş gününde 15–25 puan ekler. Hazır satırlar Başlangıç paketinde sitenize göre doldurulmuş gelir.
12 botun sitenize girip giremediğini ölçün
Kayıt yok, veri saklanmaz. Sonuç sayfası her bulgunun çözümünü adım adım gösterir.
Kaynaklar
- OpenAI, "Overview of OpenAI crawlers" (OAI-SearchBot, ChatGPT-User, GPTBot)
- Search Central, "Overview of crawlers and fetchers", tarayıcı listesi
- Cloudflare Blog, "Declare your AIndependence: block AI bots with a single click", 2024
- Anthropic Yardım Merkezi, "Does Anthropic crawl data from the web?" (ClaudeBot ve arama botları)
Yazar: Ahmet Okan ŞEKER, Elektrik Elektronik Yüksek Mühendisi (GeoSorgu, Çankaya / Ankara) · Son güncelleme: 21 Ekim 2026 · Yöntem: Nasıl ölçüyoruz