Stanford Üniversitesi araştırmacıları, güçlü yapay zekâ sistemlerinin insan denetiminde kalmasını sağlamak ve hatalı karar oranını matematiksel olarak sınırlamak üzere iki ayrı kuramsal çerçeve geliştirdi.
Stanford Graduate School of Business araştırmacıları William Overman ve danışmanı Mohsen Bayati, bağımsız hareket edebilen yapay zekâ sistemlerinin insan kontrolünde kalmasını sağlamak amacıyla iki kuramsal çerçeve geliştirdi. arXiv üzerinden erişime açılan çalışmalardan ilki insan ile yapay zekâ arasındaki ilişkiyi sıfırdan tasarlamayı ele alırken, ikinci araştırma kullanıcının bütünüyle güvenmediği ve kendisinin geliştirmediği güçlü sistemlerin güvenli biçimde yönetilmesine odaklanıyor. Doktora çalışmasına ChatGPT'nin kamuya açıldığı Kasım 2022'den iki ay önce başlayan Overman, oyun teorisi, pekiştirmeli öğrenme ve nedensel çıkarım yöntemlerini bir araya getirerek hizalanmamış modellerin insan refahına zarar vermesini engellemeyi amaçladıklarını belirtiyor.
Araştırmacıların "The Oversight Game" başlığıyla sunduğu ilk model, insan ile yapay zekâ arasındaki etkileşimi kazananı ya da kaybedeni olmayan iş birliğine dayalı bir oyun kurgusu olarak modelliyor. Bu yapıda yapay zekâ her hamlede özerk davranma ya da yetkiyi insana devretme seçeneklerinden birini seçerken, insan tarafı da modele güvenme ya da sürece müdahale etme kararını veriyor. Hem yetki devrinin hem de insan denetiminin küçük bir maliyet üretmesi, iki tarafın birbirine aşırı bağımlı hale gelmesini önlüyor. Deney ortamı olarak kurulan Lavaland simülasyonunda yapay zekâ, lav çukurlarından kaçınması gerektiği doğrudan öğretilmemesine rağmen zamanla tehlikeli noktalarda durup insandan yönlendirme istemeyi öğreniyor. Sistem kodlama yapan öncü yapay zekâ modellerinde test edildiğinde, yazılım ajanının riskli adımlardan önce insan onayına başvurma dengesini kendi kendine kurduğu gözlemlendi.
Bayati'nin sağlık sektöründeki hekim ve yapay zekâ asistanı dengesiyle örneklendirdiği bu yaklaşımda, modelin her adımda yardım istemesi hekimin vaktini tüketirken tamamen bağımsız hareket etmesi tıbbi hatalara yol açabiliyor. Kurulan oyun modelinde tarafların kurallara uyması sonucunda, yapay zekânın otonomi arayışının insanın zararına dönüşmediği kararlı bir denge oluşuyor. Overman, "Yapay zekâ her an denetim istemek zorunda kalırsa otonom olamaz, ancak kritik noktalarda sormayı bilmesi gerekir" sözleriyle kurulan dengenin mantığını özetliyor. Bu çerçevenin gerçek hayata geçirilebilmesi için ilgili sektöre özgü simülasyon ortamlarının kurulması ve insan ile modelin bu ortamda birlikte pratik yapması gerekiyor.
İkinci çalışma ise şirketlerin dışarıdan temin ettiği veya açık kaynaklı olduğu için bütünüyle güvenemediği güçlü modellerin denetlenmesi sorununa pratik bir çözüm getiriyor. "Kalibre edilmiş kolektif denetim" adı verilen yöntemde, tek başına güvenilmeyecek kadar zayıf veya kusurlu olan birden fazla insan ya da küçük yapay zekâ denetleyicisi bir araya getirilerek güçlü modeli baskı altında tutuyor. Geliştirilen matematiksel çerçeve sayesinde kullanıcılar, sistemin üretebileceği güvensiz karar oranını yüzde 1 ya da yüzde 5 gibi kesin bir eşikle önceden sınırlayabiliyor. Bu yaklaşım, daha önceki ampirik gözlemlere dayalı güvenlik denemelerinden farklı olarak modeller geliştikçe geçerliliğini koruyan resmi bir matematiksel garanti sunuyor.
Söz konusu kolektif denetim mimarisi hem değiştirilmiş bir yazılım mühendisliği testinde hem de etik karar alma ile görev tamamlama arasındaki ödünleşimleri ölçen MACHIAVELLI oyununda test edildi. Her iki deneyde de kuralların ihlal edilme oranı, araştırmacıların başlangıçta belirlediği güvenlik hedefleriyle birebir uyumlu seyretti. Mohsen Bayati, ikinci çalışmanın bugün sahada uygulanmaya çok daha yakın olduğunu ve sadece güvenilen daha zayıf sistemlerin bir araya getirilmesini gerektirdiğini aktarıyor. Araştırmacılar, geliştirilen her iki çerçevenin de yapay zekâ hizalama sorununu çözmek isteyen yazılımcılar ve kurumlar için temel bir yapı taşı işlevi göreceğini belirtiyor.
Neden önemli?Geliştirilen yöntemler, güvenilmeyen ya da bağımsız hareket eden büyük yapay zekâ modellerinin riskli adımlarını kesin sınırlar içinde tutarak kurumsal ve kritik alanlarda güvenli kullanımın önünü açıyor.
Şu ana kadar bildiklerimiz
- Stanford Graduate School of Business bünyesindeki William Overman ve Mohsen Bayati, otonom sistemlerin denetimi üzerine arXiv'de iki ayrı çalışma yayımladı.
- The Oversight Game adlı ilk modelde insan ile yapay zekâ arasındaki ilişki ortak hedefe odaklanan ve müdahalenin maliyetli olduğu iş birliği oyunu olarak kurgulandı.
- Kalibre edilmiş kolektif denetim modelinde zayıf denetleyiciler bir araya getirilerek güvensiz karar oranı matematiksel olarak belirlenen eşiğin altında sınırlandırıldı.
Cevabı beklenen sorular
- The Oversight Game modelinin sağlık ve diğer karmaşık iş ortamlarında güvenle uygulanabilmesi için gereken simülasyon ortamlarının ne zaman kurulacağı henüz bilinmiyor.
- Kolektif denetim mimarisinin açık kaynaklı büyük yapay zekâ modellerini kullanan şirketler tarafından hangi takvimde operasyonel bir standart olarak benimseneceği belirsizliğini koruyor.
