Anthropic, halka arz başvurusundaki risk faktörlerinde modellerinin kendi kendini geliştirdiği yinelemeli öz-geliştirme aşamasına yakında ulaşabileceğini duyurdu.
Üç noktada haber
Anthropic, güncellenen S-1/A halka arz izahnamesinde modellerin kendi kendini geliştirdiği yinelemeli öz-geliştirme eşiğine yakında ulaşılabileceğini açıkladı.
Şirketin risk bildirimine göre, araştırma ve geliştirme süreçlerinde yapay zekâ kullanımı geçmişte öngörülemeyen hızlı yetenek artışlarına yol açtı.
Mevcut modellerin henüz bu sınırı aşmadığı ve insan denetimi olmadan tam otonom model geliştirilmeyeceği ifade edildi.
Yapay zekâ şirketi Anthropic, güncellenen S-1/A halka arz başvuru belgesine eklediği risk faktörlerinde, sistemlerin kendi kendini geliştirdiği yinelemeli öz-geliştirme (RSI) yeteneğine yaklaşabileceği uyarısında bulundu. Şirket, finansal verilerinin yanı sıra paylaştığı dipnotlarda, yapay zekânın yeni nesil modeller üretmek üzere kendi eğitim sürecini hızlandırmasının ciddi güvenlik açıkları yaratabileceğini kabul etti.
Şirketin risk analizinde yer alan bilgilere göre Anthropic, kendi araştırma ve geliştirme süreçlerinde mevcut yapay zekâ sistemlerinden yoğun biçimde yararlanıyor. Başvuru metninde, yapay zekânın yeni modeller inşa etmekte kullanılmasının, model yeteneklerini güvenlik, uyumluluk ve denetim mekanizmalarının geliştirilme hızından daha ileriye taşıyabileceği belirtildi. Şirket ayrıca geçmişte yapay zekâ desteğiyle geliştirdiği bazı modellerdeki yetenek sıçramalarını geliştikten hemen sonra fark edebildiğini kaydetti.
Yayımlanan belgede Anthropic, kurum içi tahminlerin ve gelecek modeller hakkındaki beklentilerin, şirketin Sorumlu Ölçeklendirme Politikası kapsamındaki kritik bir eşiğe yaklaşıldığını gösterdiğini aktardı. Şirket politikasında "yapay zekâya atfedilen dramatik hızlanma" olarak tarif edilen bu durumun henüz hiçbir mevcut model tarafından aşılmadığı özellikle vurgulandı. Şirket yetkilileri, mevcut modellerin hiçbirinin bu sınırı geçmediğini ve temel verileri değerlendirmeyi sürdürdüklerini bildirdi.
Anthropic, olası bir teknik yeterlilik halinde dahi yeni nesil sınır modellerin insan gözetimi ve anlayışı olmaksızın Claude tarafından tam otonom şekilde inşa edilmesini güvenli bulmadığını ifade etti. İzahnamede, insan kontrolünün araştırma ve geliştirme döngüsünde kalmasını güvence altına almak amacıyla Sorumlu Ölçeklendirme Politikası'nda yeni güncellemelerin planlandığı bilgisine yer verildi. Bağımsız gözlemciler, halka arz belgelerinin yasal risk ifşasının yanında pazarlama etkisi de yaratabileceğine dikkat çekerken, şirketin risk faktörlerindeki uyarılar yapay zekâ yönetişimi tartışmalarını yeniden alevlendirdi.
Neden önemli?Yapay zekânın kendi kendini eğitmesi geliştirme hızını artırırken, güvenlik ve denetim mekanizmalarının bu hıza yetişememesi küresel kontrol risklerini büyütüyor.
Cevabı beklenen sorular
- Anthropic'in Sorumlu Ölçeklendirme Politikası'nda yapmayı planladığı güncellemelerin insan denetimini hangi teknik mekanizmalarla koruyacağı bilinmiyor.
- Düzenleyici kurumların ve kredi derecelendirme kuruluşlarının bu risk beyanını otonomi güvenliği açısından nasıl değerlendireceği henüz netleşmedi.
Kaynaklar ve belgeler
Bu haberde kullanılan belgelere aşağıdaki bağlantılardan ulaşabilirsiniz.
