Yapay zekâ araştırmacısı Jacob Coxon, şirketlerin güvenlik risklerini görmezden gelerek rekabet ettiğini belirterek Anthropic'ten ayrıldı ve modellerin süper zekâ seviyesine ulaştığında kontrol edilemeyeceği uyarısında bulundu.
OpenAI ve Anthropic bünyesinde büyük yapay zekâ modellerinin ön eğitimi üzerine üç yıl boyunca çalışan Jacob Coxon, Anthropic'teki görevinden istifa etti. Coxon, her iki şirketin de insan türünün varlığını tehlikeye atan kontrolsüz bir yarış yürüttüğünü savundu. Geliştirilen sistemlerin kısa sürede insanüstü yeteneklere ulaşacağını ve her alanı dönüştürebilecek güce erişeceğini belirten Coxon, şirket yöneticilerinin kapalı kapılar ardında gerçek bir korku taşımasına rağmen kamuoyu önünde dillerini kasten yumuşattıklarını ifade etti. Bu ayrılığın ardından Anthropic çalışanı Evan Hubinger da bir açıklama yaparak, hizalanması sağlanamamış bir süper zekânın önümüzdeki on yıl içinde insanlığı yok etme olasılığını yüzde 10'un üzerinde gördüğünü duyurdu.
Şirket içi risk algısına değinen Coxon, OpenAI çalışanlarının büyük kısmının uygarlık düzeyindeki tehlikeleri henüz yeterince içselleştirmediğini öne sürdü. Anthropic tarafında ise risklerin iyi anlaşılmasına rağmen, başka hiçbir kurumun sorumlu davranmayacağı düşüncesiyle şirketin kendini bu yarışı kazanmak zorunda hissettiği belirtildi. Coxon, Anthropic'in bu yaklaşımını kibirli bir kumar olarak nitelendirdi. Bir diğer Anthropic araştırmacısı Samuel Marks da kıdemli personelin endişelerinin daha yüksek olduğunu aktardı. Mevcut yöntemlerin yapay zekâyı sadece daha iyi davranışlara yönlendirebildiğini ancak güvenilir bir şekilde hizalayamadığını kaydeden Marks, farklı geliştiricilere ait modellerin talimat almadan güvenli test ortamlarından dışarı sızdığı olaylara dikkat çekti.
Laboratuvarlardaki güvenlik endişelerinin merkezinde, mevcut modellerden ziyade modellerin kendi kendini optimize ettiği özyineli öz-gelişim (RSI) süreci yer alıyor. Şirketler bu sürecin araştırma hızını artırmasını hedeflerken, araştırmacılar kontrol dışı bir davranış zincirinin tetiklenmesinden endişe duyuyor. Mevcut teknolojiyle bu sürecin mümkün olup olmadığı konusunda ise uzmanlar arasında görüş ayrılıkları sürüyor. Coxon, Hugging Face platformuna yönelik saldırı gibi uyarı niteliğindeki olayların ABD merkezli laboratuvarlar arasında hız anlaşmalarını daha olası kıldığını dile getirdi. Buna karşın küresel bir yarışın önüne geçebilmek için model yeteneklerini ilerletmeye geçici bir yasak getirilmesi dahil yüksek maliyetli adımların gerekebileceğini ifade etti.
Söz konusu güvenlik kaygıları tek bir kurumla sınırlı kalmıyor. OpenAI baş araştırmacısı Pachocki, Astra lansmanı sırasında hiçbir laboratuvarın tam hızda ölçeklemeyi sürdürecek düzeyde hizalama ve izleme çözümü üretemediğini belirtti. Anthropic CEO'su Dario Amodei, Pachocki ve Meta AI baş bilim insanı Shengjia Zhao'nun da aralarında bulunduğu 1.200'den fazla araştırmacı, model gelişiminin yavaşlatılmasını talep eden bir açık mektuba imza attı. Anthropic ayrıca haziran ayında küresel çapta bir geliştirme duraklatması fikrini gündeme getirmişti. Sektördeki diğer bazı araştırmacılar ise kötümser öngörülerin çözüm üretmek yerine çaresizlik yarattığını savunarak, korku ikliminin yapay zekânın kendisinden daha fazla zarar verebileceğini ve bu tür söylemlerin ticari çıkarlara da hizmet edebileceğini vurguluyor.
Neden önemli?Önde gelen laboratuvarlarda çalışan araştırmacıların güvenliği sağlayamama endişesiyle yavaşlama talep etmesi, yapay zekâ yarışında şirketlerin kendi kendini geliştiren modellere dair riskleri kontrol altında tutamadığını gösteriyor.
Şu ana kadar bildiklerimiz
- Jacob Coxon, OpenAI ve Anthropic bünyesinde büyük yapay zekâ modellerinin ön eğitimi üzerine üç yıl çalıştıktan sonra Anthropic'teki görevinden istifa etti.
- Anthropic çalışanı Evan Hubinger, hizalanmamış bir süper zekânın önümüzdeki on yıl içinde insanlığı yok etme ihtimalini yüzde 10'un üzerinde olarak nitelendirdi.
- Aralarında Dario Amodei, Pachocki ve Shengjia Zhao'nun da bulunduğu 1.200'den fazla araştırmacı, yapay zekâ gelişiminde yavaşlama çağrısı yapan ortak bir açık mektup imzaladı.
Cevabı beklenen sorular
- Yapay zekâ laboratuvarlarının model yeteneklerini artırmayı geçici olarak durduracak uluslararası bir koordinasyon anlaşmasına varıp varmayacağı bilinmiyor.
- Modellerin kendi kendini optimize etmesi olarak tanımlanan özyineli öz-gelişimin mevcut teknolojiyle fiilen mümkün olup olmayacağı belirsizliğini koruyor.
