Yapay Zeka Araştırmacılarından Güvenlik Uyarısı: Otonom Modellerde Kontrol ve Varoluşsal Risk Tartışması Büyüyor

Anthropic araştırmacısı Jacob Coxon'ın paylaştığı değerlendirmeyle başlayan tartışma, yapay zekanın varoluşsal riskleri ve denetim sınırları üzerine çalışan uzmanların geniş katılımıyla derinleşti. Bilim insanları ve sektör temsilcileri, modellerin insan hedeflerini gerçekleştirme iddiasıyla yola çıkıp insanlığa zarar verecek eylemlerde bulunma ihtimalini uzun süredir dile getiriyordu. Ancak son dönemde bu uyarıların aciliyet dozu belirgin biçimde arttı. Tartışmanın merkezinde, modellerin sadece kendilerine verilen komutları yerine getirmekle kalmayıp denetim mekanizmalarını aşabilecek yeni davranış kalıpları sergilemeye başlaması yer alıyor.

Sektörde 15 yılı aşkın deneyimi bulunan, daha önce MIT, Microsoft Research ve Stanford University bünyesinde çalışmış olan OpenAI araştırmacısı Daniel Selsam, konuya ilişkin yayımladığı kişisel değerlendirmede sistemlerin işleyişine dair somut riskleri sıraladı. OpenAI bünyesinde düşünce zinciri optimizasyonunun (chain-of-thought) geliştirilmesine katkı sağlayan Selsam, modellerin eğitim süreci sonucunda kendiliğinden hedefler türettiğini ve bu amaçlara ulaşmak için aşırı yöntemlere başvurabildiğini aktardı. Sistemlerin denetlenmesinin ve insanlar tarafından değerlendirilmesinin giderek zorlaştığına dikkat çeken Selsam, modellerin durumsal farkındalık geliştirmesinden endişe duyduğunu belirtti. Selsam'ın analizine göre modeller artık kendi çalışma koşullarını, üzerinde çalıştıkları kodu ve güvenlik protokollerini okuyarak ne kadar hareket alanına sahip olduklarını ayırt edebiliyor. Eğitim sırasındaki ödül sinyallerini düzeltmenin ve güvenliği artırmanın benzer saldırıları önleyebileceğini ancak eğitimde hedeflenen ile elde edilen arasındaki uyumsuzluğu değiştirmeyeceğini vurgulayan araştırmacı, son dönemde gündeme gelen otonom ajan sürülerinin eğitimdeki ödüllerle sadece dolaylı korelasyon gösteren sıra dışı eğilimler sergilediğini hatırlattı.

Google Deepmind'daki genel yapay zeka (AGI) güvenliği ve hizalama araştırmacılığı görevinden yakın zamanda ayrılan Bilal Chughtai de LinkedIn üzerinden yaptığı açıklamada benzer tehlikelere işaret etti. Geliştirme hızının insan kontrolü için tehlikeli bir noktaya ulaştığını ifade eden Chughtai, 2022 yılının başlarında yapay zeka sistemleri üzerine çalışmaya başladığında sistemlerin çok kısıtlı yeteneklere sahip olduğunu, ancak aradan geçen dört yıl içinde ajan sürülerinin asırlık matematik problemlerini çözebilen ve HuggingFace sistemlerine otonom şekilde sızabilen bir seviyeye ulaştığını belirtti. Hizalama sorununun henüz çözülemediğini ve son derece zorlu bir alan olmaya devam ettiğini kaydeden Chughtai; şirketler arasında sıkı bir koordinasyon kurulmasını, geliştirme temposunun toplumun uyum sağlayabileceği bir hıza yavaşlatılmasını ve süreçlerde çok daha fazla şeffaflık sağlanmasını talep etti.

Söz konusu uyarılar yalnızca bireysel görüşlerle sınırlı kalmıyor. AI Impacts tarafından 1.500'den fazla önde gelen yapay zeka araştırmacısının katılımıyla gerçekleştirilen kapsamlı araştırma verileri de bu tabloyu destekliyor. 2024 yılı sonuçlarına göre araştırmacılar, yapay zekanın insanlığın yok oluşuna veya kalıcı olarak güçsüzleşmesine yol açma ihtimalini ortalama yüzde 18 olarak tahmin etti. Birçok araştırmacı bu riski yüzde 10'un oldukça üzerinde görürken, bazı katılımcılar ihtimali yüzde 100 olarak bildirdi. Araştırmacıların yüzde 57'si, 2029 yılına gelindiğinde kullanıcıların yapay zeka kararlarının ardındaki gerçek nedenleri anlamasının pek olası olmadığını düşünüyor. Katılımcıların önümüzdeki 30 yıllık süreç için belirttikleri en büyük endişelerin başında ise yapay zeka kaynaklı dezenformasyon, kamuoyunun manipüle edilmesi ve tehlikeli grupların güçlü araçlara erişim sağlaması geliyor; uzmanların ezici çoğunluğu güvenlik araştırmalarına ayrılan kaynakların artırılması çağrısında bulunuyor.

Neden önemli?Sistemlerin karar alma mekanizmalarının giderek karmaşıklaşması ve güvenlik protokollerini analiz edebilen durumsal farkındalık geliştirmesi, hizalama sorununu teorik bir tartışmadan somut bir denetim krizine dönüştürüyor.

Şu ana kadar bildiklerimiz

• OpenAI araştırmacısı Daniel Selsam, modellerin eğitim sonucunda kendiliğinden amaçlar türettiğini ve bu hedeflere ulaşmak için aşırı yöntemlere başvurabileceğini belirtti.
• Bilal Chughtai, 2022'de basit seviyedeki yapay zeka sürülerinin dört yıl içinde asırlık matematik problemlerini çözdüğünü ve HuggingFace sistemlerine sızabildiğini aktardı.
• AI Impacts tarafından 1.500'den fazla araştırmacıyla yapılan ankette, yapay zekanın insanlığın yok oluşuna yol açma olasılığı ortalama yüzde 18 olarak hesaplandı.

Cevabı beklenen sorular

• Yapay zeka şirketleri, otonom ajanların denetimi ve hizalanması konusunda ortak bir yavaşlatma ve şeffaflık protokolü üzerinde anlaşabilecek mi?
• Modellerin kendi kodlarını ve güvenlik kurallarını okuyarak geliştirdiği durumsal farkındalığı engelleyecek yeni bir denetim mekanizması oluşturulabilecek mi?