Kısaca

Nvidia, metin komutlarıyla yönlendirilen, 40 dilde deşifre yapabilen ve konuşmacı ayrıştırma ile çeviriyi tek gövdede birleştiren açık ağırlıklı Nemotron 3.5 Transcribe modelini ve Granary v2 veri kümesini yayımladı.

Üç noktada haber

  1. Nemotron 3.5 Transcribe toplam 30 milyar parametreye sahip olmasına karşın işlem adımı başına yaklaşık 4 milyar aktif parametre kullanıyor.

  2. Model 40 dilde ses deşifresi yapabiliyor, 31 dili İngilizceye veya İngilizceden çevirebiliyor ve 13 dilde sekiz kişiye kadar konuşmacıları ayrıştırabiliyor.

  3. Model yalnızca önceden kaydedilmiş ses dosyaları üzerinde çalışıyor ve gerçek zamanlı konuşma akışlarını desteklemiyor.

Nvidia, ses işleme alanında farklı görevleri tek bir yapay zekâ modelinde toplayan açık ağırlıklı Nemotron 3.5 Transcribe sistemini duyurdu. Yeni model; ses kayıtlarının metne dökülmesi, konuşmacıların kimliklerine göre ayrıştırılması, anlık çeviri yapılması ve ses kaydı içeriğine dair soruların yanıtlanması işlevlerini tek çatı altında gerçekleştiriyor. Şirketin paylaştığı bilgilere göre sistem, 40 dilde ses deşifresi yapabilirken 31 dilde İngilizce ile çift yönlü çeviri sağlıyor ve 13 dilde konuşmacı tanıma desteği sunuyor.

Model, metin tabanlı komutlarla yönlendirilebiliyor ve aynı ses kaydından farklı çıktılar üretebiliyor. Kullanıcılar tek bir toplantı kaydını komut vererek konuşmacı etiketli deşifreye, İngilizce çeviriye ya da alınan kararların özetine dönüştürebiliyor. Ayrıca tıbbi veya teknik terimler modele ipucu olarak iletilebiliyor; sistem bu terimleri yalnızca ses kaydında gerçekten geçmeleri durumunda kullanacak şekilde sınırlandırılıyor. Model, bir saate kadar uzunluktaki ve sekiz farklı konuşmacıyı içeren kayıtları işleyebiliyor.

Nemotron 3.5 Transcribe toplamda 30 milyar parametre barındırsa da işlem adımı başına yalnızca yaklaşık 4 milyar parametre aktif olarak çalışıyor. Bu mimari yapı sayesinde sistem, veri merkezlerinden kompakt DGX Spark donanımına kadar tek bir grafik işlemci üzerinde yürütülebiliyor. Nvidia'nın paylaştığı ölçümlere göre model, NVFP4 hassasiyetinde çalışan RTX PRO 6000 Blackwell Server Edition donanımında 100 saatlik ses kaydını üç dakikanın altında bir sürede işleyebiliyor. Hugging Face İngilizce Open ASR liderlik tablosunda açık ağırlıklı modeller arasında yüzde 5,33 kelime hata oranıyla ilk sıraya yerleşen model, konuşmacıların birbiri ardına veya üst üste konuştuğu VoiceArena testlerinde de en düşük hata oranına ulaştı.

Modelin beraberinde yayımlanan Granary v2 veri kümesi, 48 dilde yaklaşık 844 bin saatlik ses verisi içeriyor. Nvidia, bu veri kümesini ve oluşturma araçlarını geliştiricilerin kendi kayıtlarını hazırlaması için erişime açtı. Ancak modelin belirli sınırlılıkları da bulunuyor. Sistem yalnızca kaydedilmiş ses dosyaları üzerinde çalışıyor ve gerçek zamanlı ses akışı işleme desteği sunmuyor. Ayrıca ses içeriği üzerinden soru-cevap özelliği yalnızca İngilizce için eğitilmiş durumda bulunuyor. Nvidia, özel alan uyarlamalarında hata payını azaltmak adına kullanıcıların isimleri, konuşmacı geçişlerini ve yanıtları kontrol etmelerini öneriyor.

Neden önemli?Ayrı ses modelleri yerine tek sistem sunan model, 30 milyar parametreye rağmen adım başına yalnızca 4 milyar parametre çalıştırarak yerel donanımlarda yüksek hacimli ses işleme maliyetini düşürüyor.

Cevabı beklenen sorular

  • Nvidia'nın ilerleyen sürümlerde gerçek zamanlı ses akışı işleme desteği ekleyip eklemeyeceği henüz bilinmiyor.
  • Ses içeriği üzerinden soru-cevap özelliğinin İngilizce dışındaki diğer dillere ne zaman genişletileceği açıklanmadı.
Kaynaklar ve belgeler

Bu haberde kullanılan belgelere aşağıdaki bağlantılardan ulaşabilirsiniz.