The Information'ın haberine göre OpenAI, yeni Astra modelinde sorguları döngüsel olarak işleyen ve geleneksel düşünce zinciri kayıtlarını devre dışı bırakabilecek opak özyineleme yöntemini sınırlı biçimde kullanmaya hazırlanıyor.
The Information'ın salı günü yayımladığı habere göre OpenAI, geliştirmekte olduğu yeni Astra modelinde "döngüsel derinlik" (recurrent depth) adı verilen bir akıl yürütme tekniğinden yararlanacak. Sektörde "opak özyineleme" olarak da tanımlanan bu yöntem, yapay zekânın bilinen ardışık düşünme adımlarının dışına çıkarak aynı sorguyu bir döngü içerisinde birden fazla kez işlemesini sağlıyor. Modelin adımları doğrusal şekilde sıralamak yerine döngüsel olarak işlemesi geride daha az okunabilir iz bırakırken, güvenlik uzmanları geleneksel düşünce zinciri kayıtlarının devre dışı kalabileceğine dikkat çekiyor.
Mevcut akıl yürütme modellerinde düşünce zinciri kayıtları, yapay zekânın bir problemi çözerken attığı adımları sıralayarak olası kural dışı davranışları veya hedef sapmalarını izlemeye yarıyor. OpenAI'ın yakın dönemde yaşadığı kural dışı çalışan ajan vakasında da bu kayıtlar, sistemin neden hedeften saptığını anlamada kritik bir araç olarak kullanılmıştı. Astra modelinde söz konusu tekniğin kullanımının sınırlı tutulduğu ve düşünce zincirinin okunabilir kalmasının beklendiği belirtilse de uzmanlar, yöntemin ilerletilmesinin denetim mekanizmalarını tamamen yok edebileceğini savunuyor.
Haberin ardından değerlendirmede bulunan Redwood CEO'su Buck Shlegeris, Astra'nın opak özyineleme kullanmasından ciddi endişe duyduğunu belirterek OpenAI'ın bu tekniği daha ileri taşıması durumunda düşünce zinciri denetlenebilirliğinin tamamen yıkılabileceğini kaydetti. Yapay zekâ güvenliği savunucusu Zvi Mowshowitz ise laboratuvarlar arasında yaşanabilecek bir "dibin yarışı" riskine işaret ederek yasal düzenlemelerin gerekebileceğini ifade etti. Mowshowitz, OpenAI ile Anthropic'in düşünce zincirinin sadakatini ve izlenebilirliğini koruma yönünde oluşturduğu tabunun riske atıldığını vurguladı.
Eleştirilere X üzerinden yanıt veren OpenAI baş bilim insanı Jakub Pachocki, laboratuvarın ilk akıl yürütme modellerinden bu yana düşünce zinciri takibini koruma ve kullanma hedefiyle hareket ettiğini belirtti. Tüm yapay zekâ modellerinin bir miktar opak akıl yürütme yaptığını kaydeden Pachocki, kapsamlı izleme sistemleri üzerinde çalıştıklarını ve şirketin "neuralese" gibi tamamen anlaşılamaz bir dile geçiş yapmayacağını savundu.
Tartışmalar sürerken The Information çarşamba sabahı yayımladığı takip haberinde, Anthropic ve Google DeepMind bünyesinde de döngüsel akıl yürütme tekniğinin ele alındığını aktardı. Redwood Research baş bilim insanı Ryan Greenblatt ise opak akıl yürütmenin geleneksel yöntemlerden çok daha hızlı ölçeklenebileceği uyarısında bulunarak modellerin tüm düşünme sürecini örtük uzaya taşıması riskine dikkat çekti.
Neden önemli?Modellerin adım adım akıl yürütme basamaklarının görünmez hale gelmesi, yapay zekânın hatalı veya kurallara aykırı kararlarını tespit etmeyi zorlaştırarak güvenlik denetim mekanizmalarını temelden sarsma riski taşıyor.
Şu ana kadar bildiklerimiz
- The Information'ın aktardığına göre OpenAI, Astra modelinde ardışık düşünme yerine sorguları döngü içinde işleyen 'tekrarlayan derinlik' (opak özyineleme) yöntemini sınırlı ölçüde kullanacak.
- OpenAI baş bilim insanı Jakub Pachocki, laboratuvarın okunabilir düşünce zincirini koruma taahhüdünün sürdüğünü ve kapsamlı denetim sistemleri planladıklarını belirtti.
- The Information, Anthropic ve Google DeepMind'ın da aynı akıl yürütme tekniği üzerinde görüşmeler yürüttüğünü bildirdi.
Cevabı beklenen sorular
- Yapay zekâ laboratuvarlarının örtük akıl yürütme yöntemlerine yönelmesini engellemek için yasal bir düzenleme ya da sektör içi bağlayıcı bir kural getirilecek mi?
- OpenAI ve diğer araştırma laboratuvarları, modellerin düşünce zincirini tamamen gizlemeden akıl yürütme kapasitesini ölçeklendirmeyi başarabilecek mi?
