Otuz yıldır web, küçük bir dosyayla davranış kurallarını yazdı: kök dizine konan robots.txt, tarayıcılara hangi sayfanın girilip girilmeyeceğini söyler. Bu kibarlık anlaşması birkaç yıldır sarsılıyor. Çünkü sahneye, içeriği okumakla kalmayıp onu model eğitiminde ham madde olarak kullanan yeni nesil tarayıcılar girdi ve web sitelerinin kapısı, ilk kez ciddi biçimde pazarlık konusu oldu.

Kim, nereden, neden tarıyor?

Tarayıcıların motivasyonu artık tek değil üçlü: arama motoru dizini, yapay zekâ yanıtlarını besleyen canlı bağlam ve model eğitimi için toplu veri. Her üçünün kullanıcı ajanları farklı: arama dizinini besleyen klasik botlar, yanıtları zenginleştiren asistan tarayıcıları ve GPTBot ya da ClaudeBot gibi eğitimci botlar. Sorun şurada: ortalama bir okur sitenize arama sonuçlarından gelip reklam görürken, eğitimci bot sayfayı tek seferde toplar ve ziyaretçisi olmaz. Yani içerik, değeri başka bir yerde kullanılan hammaddeye dönüşür. Bu yüzden 2024'ten itibaren büyük yayıncılar ve altyapı şirketleri robots.txt'yi yeni bir sahne olarak kullanmaya başladı: bazı siteler eğitim botlarına kapısını kapattı, bazıları yalnızca yanıtlarını kaynak gösteren asistanlara açtı.

Engelleme yeterli mi?

Engelleme sanıldığından zor. İlk katman protokol: robots.txt kibar bir davettir, zorlayıcı bir yasak değil; uyup uymamak tarayıcının vicdanına kalmıştır. İkinci katman ağ: tarayıcıların kendi tanımladığı kimlikleri varsaydığı için, imzayı taklit eden botlar kural dışı kalır. Bu yüzden altyapı sağlayıcıları, tarayıcı parmak izine bakarak şüpheli otomatik trafiği tek anahtarla engelleyen çözümler sundu ve bu, yayıncılar arasında hızla standart oldu. Üçüncü katman ekonomik: bir kısım site, arama motorlarının eğitim botu verisini kullanmadan dizine girebileceği ayrı ayarlar sunmaya başladı. Tarayıcı tarafında ise ai.txt ya da llm.txt gibi öneriler, sitenin hangi içeriğinin model eğitimine uygun olduğunu bildirmek için konuşuldu; henüz hiçbiri robots.txt kadar yaygınlaşmadı.

Yayıncının gerçek pazarlığı

Asıl mesele, tarayıcıları durdurmak değil, kendini tanımlamak. İçeriğini ücretsiz eğitime açan bir site, markasını ve trafiğini büyütme hesabı yapıyor; kapatan, değerli verisini koruyup lisans görüşmelerine saklıyor. İki tarafın da haklı olduğu bir denge var ve o dengeyi kuracak araçlar henüz olgunlaşmadı. Bugün için üç pratik tavsiye geçerli: günlüklerinizi okuyun, hangi botun sitenizi ziyaret ettiğini bilin; robots.txt dosyanızı yılda bir kez değil, altyapı değişimlerinde gözden geçirin; ve engelleme kararını trafik kaybı riskine karşı ölçerek alın. Web'in en eski kibarlık anlaşması çatallanmış durumda; ama her çatallaşma, bir pazarlık masasının da habercisidir.

Tarihe bakınca bu tür anlaşmalar hep yeniden yazılmıştır: e-posta, spam krizinin ardından gönderici doğrulamasıyla düzeltildi; arama, içerik üreticisini para kazanma krizine soktuktan sonra yeni gelir dengeleri buldu. Yapay zekâ tarayıcıları da benzer bir olgunlaşmadan geçecek; bugünkü gerginlik, o sürecin ilk sayfası. Erişim günlüklerini bugünden düzenli arşivlemek, yarın bu pazarlık masasında elinizi güçlendirecek somut veri demektir. Bir de okuyucu tarafı için küçük bir not: Bir sitenin botlara kapalı olması, onun kalitesiz olduğu anlamına gelmez; çoğu zaman tam tersi, içeriğinin değerli olduğunun işaretidir. Kapıyı kimin, neden kapattığını anlamak, web'in yeni görgü kurallarından biri hâline geliyor.