DrivingBench ekibi kameralı bir Toyota Corolla'yı dört büyük dil modeline emanet etti; 130 metrelik test parkurunu yalnızca GPT-6 Astra bitirebildi.
Üç noktada haber
GPT-6 Astra, Claude Fable 5.1, Grok 4.6 ve GPT-5.6 Sol modelleri kameralarla donatılan bir Toyota Corolla üzerinde 130 metrelik parkurda test edildi.
Parkuru yalnızca GPT-6 Astra tamamlarken, GPT-5.6 Sol en fazla 17,1 metre, Grok 4.6 ise 22,6 metre ilerleyebildi.
GPT-6 Astra başlangıçta güvenlik protokolleri nedeniyle sürüş talebini reddetti; engel sistem bileşenine 'güvenli alan' adı eklenerek aşıldı.
Yapay zeka araştırma grubu DrivingBench, büyük dil modellerinin fiziksel dünyadaki kontrol yeteneklerini sınamak amacıyla dört farklı sistemi gerçek bir otomobilin direksiyonuna geçirdi. Özel olarak otonom sürüş için eğitilen yazılımların aksine genel amaçlı dil modellerinin sınırlarını test eden çalışmada; GPT-6 Astra, Claude Fable 5.1, Grok 4.6 ve GPT-5.6 Sol modelleri kullanıldı. Kameralarla donatılan bir Toyota Corolla üzerinde yürütülen deneyde modeller, araç kameralarından gelen canlı görüntüleri işleyerek direksiyon, gaz ve fren komutları üretti. Düşük hızda ve sürücü koltuğunda bir insanın ayağı fren pedalı üzerinde hazır bekleyecek şekilde tasarlanan 130 metrelik kapalı parkurda yapılan testler, genel modellerin araç kontrolünde henüz oldukça farklı aşamalarda bulunduğunu gösterdi.
Test sürecinin başında araştırmacılar, modellerin fiziksel eylemleri yönetmesini kısıtlayan güvenlik önlemleri nedeniyle beklenmedik bir engelle karşılaştı. GPT-6 Astra, parkurun tamamen boş ve güvenli bir alanda yer almasına ve sürüş hızlarının kasıtlı olarak düşük tutulmasına rağmen, güvenlik protokolleri gereğince aracı hareket ettirme çağrılarını defalarca reddetti. Araştırma ekibi bu engeli aşmak için sistem mimarisindeki bileşenlerden birinin adlandırmasına "güvenli alan" ifadesini ekledi. Model, istemdeki ve sistemdeki bu ad değişikliğinin ardından güvenlik sınırlamasını aşarak aracı hareket ettirmeye ve sürüş komutlarını uygulamaya başladı. Bu durum, dil modellerinin dijital ortam için tasarlanan hizalama ve güvenlik filtrelerinin fiziksel dünya uygulamalarında nasıl tepkiler verebileceğini somut biçimde ortaya koydu.
Araç harekete geçtikten sonra modeller arasındaki kontrol ve parkur tamamlama kabiliyetlerinde belirgin farklar gözlendi. Üç deneme gerçekleştiren GPT-5.6 Sol, 130 metrelik parkurun yalnızca yüzde 6'lık bölümünü kat edebildi; modelin ulaştığı en uzun mesafe 17,1 metrede kaldı ve sonraki denemelerinde herhangi bir ilerleme kaydedilemedi. Grok 4.6 parkurun yaklaşık yüzde 11'ini tamamlayarak 22,6 metreye kadar ilerleyebildi. Claude Fable 5.1 ise özellikle üçüncü denemesinde belirgin bir gelişim göstererek 130 metrelik güzergahın yaklaşık yarısını geride bıraktı. Parkuru baştan sona tamamlamayı başaran tek sistem ise GPT-6 Astra oldu. İlk denemesinde rotanın orta kısımlarında kalan Astra, ardışık turlarda sürüş performansını artırarak 130 metrelik parkurun tamamını bitirdi.
DrivingBench ekibi, test edilen sürüş hızlarının çok düşük tutulması ve modellerin çoğunun kısa mesafelerde durması nedeniyle bu sistemlerin gerçek trafik şartlarında kullanım için kesinlikle hazır olmadığını belirtti. Bununla birlikte, doğrudan otonom sürüş odaklı eğitilmemiş genel amaçlı mimarilerin yalnızca kamera verilerine dayanarak direksiyon ve hareket kontrolü üretebilmesi teknik açıdan dikkat çekici bir eşik olarak değerlendirildi. Araştırmacılar; çıkarım sürelerinin kısalması, gecikmelerin düşürülmesi ve daha kapsamlı multimodal veri kümeleriyle modellerin fiziksel görevlerdeki performansının ilerleyen dönemde değişebileceğini ifade etti. Deney, yapay zekanın metin üretiminden fiziksel makine kontrolüne geçtiği senaryolarda güvenlik hizalaması ve tepki süresi sınırlarının temel belirleyici olacağını gösteriyor.
Neden önemli?Genel amaçlı yapay zeka modellerinin özel otonom yazılımlar olmadan kamera görüntüsüyle fiziksel araç kontrolü yapabilme sınırları ilk kez somut bir parkurda ölçüldü.
Cevabı beklenen sorular
- Daha düşük çıkarım gecikmesi ve zengin multimodal verilerin dil modellerinin sürüş başarısını ne ölçüde artıracağı henüz bilinmiyor.
- Genel amaçlı modellerin daha yüksek hızlarda veya karmaşık yol koşullarında direksiyon kontrolü sağlayıp sağlayamayacağı belirsizliğini koruyor.
Kaynaklar ve belgeler
Bu haberde kullanılan belgelere aşağıdaki bağlantılardan ulaşabilirsiniz.



