Cloudflare, bot operatörlerinin ağ dizinine başvuru yapmasını, onay süreçlerini takip etmesini ve teknik bilgilerini güncellemesini sağlayan BotBase for Operators panelini devreye aldı.
Cloudflare, internet sitelerinde dolaşan otomatik yazılımların ve yapay zekâ aracılarının kayıt altına alınmasını kolaylaştırmak amacıyla "BotBase for Operators" panelini kullanıma sunduğunu duyurdu. Şirketin paylaştığı bilgilere göre, daha önce site sahiplerinin otomatik trafiği denetlemesi için açılan BotBase dizini, artık bot geliştiren ve çalıştıran operatörlerin de doğrudan erişebileceği iki yönlü bir yönetim sistemine dönüştürüldü. Yeni panel, Cloudflare kontrol paneli altında yer alan uygulama güvenliği bölümü üzerinden tüm müşterilere açıldı.
Şirket verilerine göre Cloudflare sistemlerine kaydedilmek istenen yeni bot sayısı 2023 yılından bu yana yaklaşık yedi kat arttı. Bu artış karşısında daha önce tamamen manuel yürütülen inceleme süreci otomatik hale getirildi. Yeni sistemde bir bot bildirildiğinde, yazılımın daha önce kaydedilmiş botlarla mükerrer olup olmadığı, kullanıcı arayüzü tanımlayıcısının (user-agent) özgünlüğü, IP adresi listeleri, ters DNS kayıtları ve Web Bot Auth dijital imzaları otomatik algoritmalar tarafından test ediliyor. Sistemde şüpheli bulunan başvurular ise gerekçesi etiketlenerek uzman ekiplere yönlendiriliyor.
Yeni arayüzde operatörlerin yaptığı başvurular üç farklı aşamayla listeleniyor: inceleme bekleyenler, onaylananlar ve reddedilenler. Başvurusu reddedilen geliştiricilere ret sebebi ve düzeltme adımları adım adım gösterilirken, kabul edilen botlarda yapılan sınıflandırma değişiklikleri de panelden takip edilebiliyor. Ayrıca bot yöneticileri, IP uç noktalarını değiştirdiklerinde ya da Web Bot Auth yöntemine geçtiklerinde sıfırdan başvuru yapmak yerine mevcut kayıtlarını güncelleyebiliyor veya bekleyen işlemlerini iptal edebiliyor.
Başvuru formunda operatörlerden üç temel bilgi talep ediliyor: botun arama indeksleme, veri toplama veya model eğitme gibi işlevleri; içeriği ne amaçla okuduğu ve altyapının doğrudan mı yoksa aracı platform olarak mı işletildiği. İçerik kullanımı beyanı, web sitelerinin robots.txt dosyalarında belirttikleri arama izni veya yapay zekâ eğitimi kısıtlamaları gibi kurallarla eşleştiriliyor. Cloudflare, sonraki aşamalarda bot operatörlerinin site sahipleriyle iletişim kurabileceği ve botun web sitelerindeki davranışlarını izleyebileceği gözlemlenebilirlik araçlarını sisteme eklemeyi hedefliyor.
Neden önemli?Otomatik trafik ve yapay zekâ tarayıcılarının sınıflandırılması hızlanırken site sahipleri ile bot geliştiricileri arasındaki veri kullanım kuralları daha şeffaf hale geliyor.
Şu ana kadar bildiklerimiz
- Cloudflare'a yapılan yeni bot başvurularının hacmi 2023 yılından bu yana yaklaşık yedi kat artış gösterdi.
- Manuel onay sisteminin yerine IP listesi, ters DNS ve Web Bot Auth imzasını doğrulayan otomatik kontrol altyapısı getirildi.
- Bot operatörleri gönderdikleri botların inceleme durumunu takip edebilecek, ret gerekçelerini görüp teknik detayları güncelleyebilecek.
Cevabı beklenen sorular
- Cloudflare'ın planladığı bot sahipliği doğrulama ve site sahipleriyle doğrudan iletişim kanallarının ne zaman devreye alınacağı henüz açıklanmadı.
- Otomatik doğrulama sürecinin karmaşık ve çok amaçlı yapay zekâ aracılarının sınıflandırılmasında ne ölçüde başarı sağlayacağı izlenecek.
