OpenAI Codex Geliştiricisi Eric Provencher Çoklu Ajan Sistemlerindeki Aşırı Belirteç Harcamasına Karşı Uyardı

OpenAI bünyesinde Codex geliştiricisi olarak görev yapan Eric Provencher, X platformunda paylaştığı değerlendirmelerde otonom yapay zekâ ajanı iş akışlarındaki kontrolsüz belirteç harcamalarına dikkat çekti. Provencher, aynı anda ikiden fazla paralel alt ajanın çalıştırıldığı kurguların pratik olarak neredeyse hiçbir kalite artışı sağlamadığını, aksine yüksek belirteç tüketimine yol açtığını kaydetti. Sistem mimarilerinde alt ajanların birbirlerinin çıktılarına güvenmediğini belirten yazılımcı, bu durumun ajanların sürekli olarak birbirlerinin çalışmalarını mükerrer biçimde denetlemesiyle sonuçlandığını aktardı.

Ajanlar arasındaki bu iletişimi ve doğrulama döngüsünü "koordinasyon vergisi" olarak tanımlayan Eric Provencher, çok sayıda paralel hattın denetimden çıkmadan ve aşırı doğrulama süreçlerine belirteç harcamadan sürdürülmesinin teknik olarak oldukça zor olduğunu vurguladı. Provencher, bu duruma örnek olarak tek bir Python dosyasını yeniden düzenlemek amacıyla 1.393 Fable ajanının görevlendirildiği ve toplamda 20 bin dolarlık belirteç tüketilen somut bir projeyi gösterdi. Geliştirici, bahsi geçen yeniden yapılandırma çalışmasının tek bir Astra ajanı kullanılarak bu maliyetin çok küçük bir kesriyle tamamlanabileceğini belirtti.

Yapay zekâ ajanı kümelerinin zaman kazandırabileceğini ancak ortaya çıkan belirteç maliyetinin bir tuzak niteliği taşıdığını dile getiren Provencher, mimari açıdan alt ajanların her birine eklenen sistem yönergelerinin belirteç sayısını katlayarak artırdığına işaret etti. Alt ajanların yeterli bağlam bilgisine sahip olmadıkları durumlarda aynı araçları tekrar tekrar çalıştırdığını ve gereksiz araç çağrılarında bulunduğunu belirten geliştirici, sistemlerdeki en temel verimsizliğin bu mükerrer çabalardan kaynaklandığı tespitinde bulundu.

İsrafın önüne geçebilmek adına mimari bir alternatif öneren Eric Provencher, ana ajanın sürekli durum sorgulaması yapması yerine, alt görevlerin müstakil iş parçacıklarına devredilmesini ve bu parçacıkların yalnızca işlem bittiğinde ana ajana bildirim iletmesini tavsiye etti. Provencher, bu sayede işlem aralarında gerçekleşen gereksiz belirteç harcamalarının sınırlanabileceğini kaydetti. Codex geliştiricisi, mevcut kurgulardaki eksikliklere dikkat çekerken, OpenAI tarafının da koordinasyon ve mükerrer işlem sorunlarını çözmek amacıyla daha etkili çözümleri kullanıma sunması gerektiğini ifade etti.

Neden önemli?Yazılım geliştirme süreçlerinde yüzlerce otonom ajanın paralel çalıştırılması, kontrolsüz maliyet artışlarına ve gereksiz işlem tekrarlarına neden olarak projelerin bütçesini tüketebiliyor.

Şu ana kadar bildiklerimiz

• Eric Provencher, ikiden fazla paralel alt ajanın çalıştırılmasının kaliteyi artırmaksızın neredeyse her zaman belirteç harcamasını artırdığını ifade etti.
• Fable altyapısındaki 1.393 ajanın tek bir Python dosyasını yeniden düzenlemek için 20 bin dolarlık belirteç harcadığı bir vaka örneklendi.
• Provencher, sürekli durum sorgulamak yerine ana ajana yalnızca iş bittiğinde bildirim gönderen ayrı iş parçacıklarının kullanılmasını önerdi.

Cevabı beklenen sorular

• OpenAI'ın çoklu ajan sistemlerindeki koordinasyon maliyetini düşürmek adına hangi resmi araçları ve mimari çözümleri yayınlayacağı henüz açıklanmadı.