Artificial Analysis, yapay zeka ajanları için arama API'larını kalite, maliyet ve hız kriterlerine göre değerlendiren "Search Index" adlı yeni bir kıyaslama yayınladı.
Artificial Analysis, yapay zeka ajanları için arama API sağlayıcılarının performansını kalite, maliyet ve hız başlıkları altında ölçen "Search Index" adlı bir kıyaslama yayınladı.
İlk kıyaslamada Parallel, Exa, Firecrawl, You.com, Tavily, Keenable ve Brave olmak üzere yedi sağlayıcı test edildi. Tüm testler, standardize edilmiş bir ajan kurulumunda ve aynı model olan GPT-5.6 Luna kullanılarak gerçekleştirildi. Ajan, Artificial Analysis'in açık kaynaklı Stirrup çerçevesinde çalışıyor ve her görev için web sayfalarını aramak ve çekmek üzere 25 çalıştırma yapıyor.
Endeks, eşit ağırlıklı üç kıyaslamayı birleştiriyor: çoklu arama sorguları gerektiren 900 araştırma sorusu içeren DeepSearchQA; çok adımlı tarama gerektiren 200 zor bulunan gerçeği test eden BrowseComp; ve altı bilgi alanında 600 soruyu kapsayan AA-Omniscience. Modelin kendi başına cevap verdiği, araçsız bir başlangıç noktası da karşılaştırma için referans olarak kullanıldı.
Daha iyi arama kalitesi, toplam maliyetleri düşürüyor çünkü model, iyi sonuçlar elde ettiğinde daha az jeton kullanıyor. Örneğin, Parallel Search'ün (advanced) jeton kullanımı, Basic sürümüne kıyasla yüzde 40'tan fazla düşüş gösterdi. Sorgu başına ham hız her zaman daha hızlı genel sonuçlar anlamına gelmiyor. Parallel Search (turbo) sorgu başına en kısa yanıt süresini (0,51 saniye) kaydetse de, daha düşük kalitesi (67'ye karşı 73) ajanı daha fazla geçiş yapmaya zorladı ve bu da toplam süreyi yaklaşık olarak aynı seviyeye getirdi. Artificial Analysis, Parallel, Firecrawl ve Parallel (turbo)'nun maliyet ve performansın en iyi karışımını sunduğunu belirtiyor.
Diğer sağlayıcılar kıyaslamaya katılmak için başvurabilir. Kıyaslamanın tam metodolojisi kamuya açık olarak sunuluyor.
Neden önemli?Bu kıyaslama, yapay zeka ajanlarının web'den bilgi edinme yeteneklerini geliştirmek isteyen geliştiriciler ve şirketler için önemli bir rehber sunarak, hem performansı artırıp hem de maliyetleri optimize etme konusunda yol gösteriyor.
Şu ana kadar bildiklerimiz
- Artificial Analysis, yapay zeka ajanları için arama API'larını değerlendiren "Search Index" kıyaslamasını yayınladı.
- Kıyaslama, kalite, maliyet ve hız olmak üzere üç ana kriteri eşit ağırlıkla birleştiriyor.
- İlk testlerde Parallel, Exa ve Firecrawl en yüksek puanları alan sağlayıcılar arasında yer aldı.
Cevabı beklenen sorular
- Diğer arama API sağlayıcıları kıyaslamaya katıldığında sıralamalar nasıl değişecek?
- Kıyaslamanın metodolojisi, sektörde hangi yeni standartları belirleyecek?
