Cloudflare, Yapay Zeka Botlarına Karşı Ücretsiz Bir Araç Başlattı

Bulut hizmet sağlayıcısı Cloudflare, platformunda barındırılan web sitelerinin verilerini yapay zeka modelleri için tarayan botlara karşı yeni, ücretsiz bir araç başlattı. Bu yenilik, Cloudflare’ın yapay zeka botları tarafından veri kazıma faaliyetlerini engellemeye yönelik önemli bir adımı olarak öne çıkıyor.

Bazı yapay zeka sağlayıcıları, Google, OpenAI ve Apple gibi, veri kazıma ve model eğitimi için kullandıkları botları, web sitesi sahiplerinin siteye erişim izni vermeyen robots.txt dosyası ile engellemesine izin veriyor. Ancak Cloudflare’ın duyurusunda belirttiği gibi, tüm yapay zeka kazıyıcıları bu kurallara saygı göstermiyor.

Cloudflare, resmi blogunda, “Müşteriler, özellikle dürüst olmayan yöntemlerle sitelerini ziyaret eden yapay zeka botlarını istemiyor,” diye yazıyor. “Yapay zeka şirketlerinin içeriklere erişmek için kuralları aşmak istemesi konusunda endişeliyiz ve bot algılamayı atlatmak için sürekli uyum sağlayacaklarını düşünüyoruz.”

Bu sorunu ele almak için Cloudflare, yapay zeka botları ve tarayıcı trafiğini analiz ederek otomatik bot algılama modellerini ince ayar yaptı. Bu modeller, bir yapay zeka botunun bir web tarayıcısı kullanan birinin görünümünü ve davranışını taklit ederek algılamayı atlatmaya çalışıp çalışmadığını değerlendiriyor.

Cloudflare, “Kötü niyetli aktörler web sitelerini ölçekli olarak taramaya çalıştığında, parmak izi alabileceğimiz araçlar ve çerçeveler kullanırlar,” diye yazıyor. “Bu sinyallere dayanarak, modellerimiz gizlenmeye çalışan yapay zeka botlarının trafiğini uygun şekilde bayraklayabilir.”

Cloudflare, şüpheli yapay zeka botlarını ve tarayıcılarını bildirmek için ev sahiplerine bir form sundu ve zamanla yapay zeka botlarını manuel olarak kara listeye almaya devam edeceğini belirtti.

Yapay zeka botları sorunu, jeneratif yapay zeka patlamasının model eğitim verilerine olan talebi artırmasıyla daha da belirgin hale geldi. Birçok site, içeriklerini yapay zeka sağlayıcılarının eğitimlerinde kullanmadan önce uyarılmadan veya tazminat almadan engellemeyi tercih etti. Bir çalışmaya göre, web’deki en büyük 1.000 sitenin %26’sı OpenAI’nin botunu engelledi; başka bir çalışma, 600’den fazla haber yayıncısının bu botu engellediğini buldu.

Engelleme, kesin bir koruma sağlamıyor. Daha önce belirtildiği gibi, bazı sağlayıcılar, yapay zeka yarışında rekabet avantajı elde etmek için standart bot dışlama kurallarını görmezden geliyor. Yapay zeka arama motoru Perplexity, yakın zamanda sitelerden içerik kazımak için meşru ziyaretçileri taklit etmekle suçlandı ve OpenAI ve Anthropic’in zaman zaman robots.txt kurallarını görmezden geldiği söyleniyor.

Geçen ay yayıncılara gönderdiği bir mektupta, içerik lisanslama girişimi TollBit, “birçok yapay zeka ajanın” robots.txt standardını görmezden geldiğini belirtti.

Cloudflare’ın aracı gibi araçlar yardımcı olabilir, ancak yalnızca gizli yapay zeka botlarını doğru bir şekilde tespit edebildikleri takdirde. Ayrıca, Google’ın AI Overviews gibi AI araçlarından gelen yönlendirme trafiğini riske atan yayıncıların daha zor sorununu çözmeyecekler. Bu araçlar, belirli yapay zeka tarayıcılarını engelleyen siteleri kapsam dışı bırakıyor.