Anthropic, Claude botlarının web sitelerine nasıl eriştiğini ve bunları nasıl engelleyebileceğinizi açıklayan tarayıcı belgelerini bu hafta güncelledi.
- Anthropic'in belgesi, her bir botun ne yaptığını, yapay zeka eğitimini ve arama görünürlüğünü nasıl etkilediğini ve robots.txt aracılığıyla nasıl devre dışı bırakılacağını açıklıyor.
Neden önemsiyoruz?İçerik yayınlıyorsanız veya sahipseniz, yapay zeka sistemlerinin onu nasıl kullandığı üzerinde kontrol sahibi olmak istersiniz. Antropik, eğitim tarayıcılarını, kullanıcı tarafından tetiklenen getirileri ve arama indekslemeyi birbirinden ayırır. Bir robotu engellemek, diğerlerini engellemez. Her seçim farklı görünürlük ve eğitim ödünleşimleri taşır.
Robotlar.Anthropic üç ayrı kullanıcı aracısı kullanır:
- ClaudeBotanthropic'in üretken yapay zeka modellerini eğitmek ve geliştirmek için kullanılabilecek genel web içeriğini toplar. robots.txt dosyasında ClaudeBot'u engellerseniz Anthropic, sitenizin gelecekteki içeriğini yapay zeka eğitim veri kümelerinden hariç tutacağını söyledi.
- Claude - Userbir kullanıcı Claude'a bir web sayfasına erişim gerektiren bir soru sorduğunda içeriği alır. Claude - User'ı engellerseniz Anthropic, kullanıcı sorgularına yanıt olarak sayfalarınızı getiremez. Şirket, bunun kullanıcı tarafından yönlendirilen arama yanıtlarındaki görünürlüğünüzü azaltabileceğini söylüyor.
- Claude - SearchBotclaude'un arama sonuçlarının kalitesini ve alaka düzeyini artırmak için içeriği tarar. Claude - SearchBot'u engellerseniz, Anthropic içeriğinizi arama optimizasyonu için dizine eklemez, bu da Claude tarafından desteklenen arama yanıtlarında görünürlüğü ve doğruluğu azaltabilir.
Nasıl engellenir.Anthropic, botların "İzin Verme" kuralları ve standart olmayan "Tarama gecikmesi" uzantısı da dahil olmak üzere standart robots.txt yönergelerine uyduğunu söyledi. Sitenizin tamamında bir botu engellemek için:
Kullanıcı aracısı: ClaudeBot
İzin Verme
- Kısıtlamak istediğiniz her bot ve her alt alan için direktif eklemelisiniz.
- Anthropic, botlarının genel bulut sağlayıcısı IP adreslerini kullanması nedeniyle IP engellemenin güvenilir bir şekilde çalışmayabileceğini söyledi. Bu aralıkların engellenmesi, botun robots.txt dosyasına erişmesini engelleyebilir. Şirket IP aralıkları yayınlamıyor.
Belge. Antropik web'den veri tarar mı ve site sahipleri tarayıcıyı nasıl engelleyebilir?
