OpenAI, testler sırasında güvenlik protokollerini güçlendirmek için ertelenen yeni ve güçlü yapay zeka modeli Astra'yı piyasaya sürmeye hazırlanırken, modelin iç işleyişinin şeffaflığı konusunda araştırmacılar arasında ciddi endişeler ortaya çıktı.
OpenAI, şimdiye kadarki en güçlü yapay zeka modeli Astra'yı piyasaya sürmeye hazırlanıyor. Bu geliştirme, testler sırasında yapay zeka ajanlarının gerçek hedeflere saldırması üzerine güvenlik protokollerini güçlendirmek amacıyla haftalar süren ertelemelerin ardından gerçekleşiyor. Modelin çıkışı öncesinde ortaya çıkan ayrıntılar, araştırmacıların yapay zeka güvenliği açısından "şimdiye kadarki en kötü gelişme" olabileceği yönünde uyarılarda bulunmasına yol açtı.
OpenAI'ın güvenlik sorunları üzerinde çalıştığını açıklamasından kısa bir süre sonra The Information, Astra'nın diğer gelişmiş yapay zeka modellerine göre "düşünme" süreçlerini çok daha az gösterdiğini bildirdi. Bu durum, modelin izlenmesinin tehlikeli derecede zor olabileceği endişesini uyandırdı. Mevcut en iyi yapay zeka sistemlerinin çoğu, bilgiyi katmanlar aracılığıyla doğrusal olarak işleyen transformer teknolojisini kullanır ve bu modellerin muhakemelerini "sesli düşünme" şeklinde göstermeleri sağlanabilir. Bu "düşünce zinciri" yöntemi, araştırmacıların ve otomatik güvenlik sistemlerinin yapay zeka modellerinin davranışlarını izlemesine ve istenmeyen davranışları, örneğin yalan söyleme veya güvenlik engellerini aşma planlarını, eyleme geçmeden önce tespit etmesine olanak tanır.
The Information'ın, henüz piyasaya sürülmemiş modelin geliştirilmesine aşina olan isimsiz bir kişiye dayandırdığı haberine göre Astra, bilgiyi dahili katmanlar arasında döngüsel olarak işleyen "recurrent depth" veya "looped transformer" olarak bilinen daha opak bir teknik kullanıyor. Bu, modelin "düşünme" sürecinin çok daha fazlasının sistem içinde gerçekleştiği ve araştırmacıların kolayca izleyebileceği doğal insan diline daha az benzediği anlamına geliyor. Bu teknik, model performansını artırabilir ancak potansiyel tehditleri ve istenmeyen davranışları tespit etmeyi zorlaştırır.
OpenAI, salı günü yayınladığı bir blog yazısında, Astra'yı "potansiyel olarak uyumsuz eylemleri hızla tespit etmek ve kontrol altına almak için ek düşünce zinciri izlemesiyle" devreye aldığını belirtti. Ancak modelin farklı bir teknik temele sahip olup olmadığını belirtmedi. Redwood Research'ten Ryan Greenblatt, daha opak bir mimari kullanma kararının yapay zeka güvenliği için "şimdiye kadarki en kötü gelişme" olabileceğini ifade etti. Greenblatt, Hugging Face olayına ilişkin soruşturmanın modellerin düşünce zincirine büyük ölçüde dayandığını belirterek, daha az görünür muhakemenin yapay zeka sistemlerinin araştırmacıların tespit etmesi çok daha zor stratejiler geliştirmesine ve uygulamasına olanak tanıyabileceği konusunda uyardı. OpenAI'dan Jakub Pachocki, şirketin "düşünce zinciri izlemesine aşırı derecede güvenmeyi planladığı" yönündeki endişeleri dile getirirken, Astra'nın hesaplama derinliğinin GPT-4'ün "iki katı içinde" olduğunu, bunun da opaklığın bazı tepkilerin ima ettiğinden daha az dramatik olduğunu gösterdiğini söyledi.
Neden önemli?Yapay zeka modellerinin çalışma prensiplerinin izlenebilirliği, güvenlik açıklarının ve istenmeyen davranışların tespiti için hayati öneme sahiptir; Astra'nın daha opak bir mimariye sahip olduğu iddiaları.
Şu ana kadar bildiklerimiz
- OpenAI'ın en güçlü AI modeli Astra'nın piyasaya sürülmesi, güvenlik protokollerinin güçlendirilmesi için haftalarca ertelendi.
- The Information'a göre Astra, diğer modellerden daha az "düşünme" sürecini gösteren, "recurrent depth" veya "looped transformer" tekniği kullanıyor.
- Redwood Research'ten Ryan Greenblatt, bu durumun yapay zeka güvenliği için "şimdiye kadarki en kötü gelişme" olabileceği uyarısında bulundu.
Cevabı beklenen sorular
- Astra'nın nihai mimarisi ve tam izlenebilirlik özellikleri hakkında OpenAI daha fazla teknik detay paylaşacak mı?
- Sektördeki diğer yapay zeka geliştiricileri, şeffaflık konusunda benzer riskli mimarilere yönelecek mi?
