NVIDIA'dan açık ağırlıklı ses modeli Nemotron 3.5 Transcribe: 40 dil, konuşmacı ayrımı ve çeviri tek modelde

NVIDIA, 28 Ekim'de Nemotron 3.5 Transcribe adında açık ağırlıklı yeni bir konuşma modeli yayımladı. Model; ses kaydını yazıya dökmeyi, konuşmacıları ayırt etmeyi, çeviriyi ve ses üzerine soru yanıtlamayı tek bir kontrol noktasında topluyor.

Neler yapabiliyor?

• 40 dilde yazıya dökme, bunların 31'inde İngilizceye ya da İngilizceden çeviri
• Bir saate kadar süren kayıtlarda sekiz konuşmacıya kadar "kim ne dedi" ayrımı
• Kelime düzeyinde zaman damgaları
• Yazım tarzını doğal dilde verilen bir talimatla seçebilme: rakamlar yazıyla mı yazılsın, "ııı"lar temizlensin mi, özel terimler nasıl yazılsın gibi

Mimari tarafında 30 milyar parametreli bir karma uzmanlar (MoE) dil modeli var, ancak her istekte yaklaşık 4,3 milyar parametre çalışıyor. Bu sayede NVIDIA, modelin tek bir çipte, DGX Spark gibi masaüstü cihazlardan veri merkezi GPU'larına kadar çalışabildiğini söylüyor. Şirkete göre model, Hugging Face'in Open ASR sıralamalarında açık ağırlıklı modeller arasında ilk sırada.

Bir sınırı da var: model canlı yayın için değil, kaydedilmiş ses için tasarlanmış. Yanında açık konuşma veri seti Granary'nin ikinci sürümü ve ince ayar araçları da geldi.

Benim yorumum

Ben bu haberi bir anime izleyicisi gözüyle okudum. Japonca röportajlar, seslendirme sanatçılarının canlı yayın kayıtları ya da etkinlik panelleri için iyi bir yazıya dökme ve çeviri aracı, hayranların işini ciddi ölçüde kolaylaştırabilir. Modelin açık lisansla gelmesi ve yerel olarak çalıştırılabilmesi de önemli: sesinizi bir buluta göndermek zorunda kalmıyorsunuz. Yine de alt yazı işinde son sözün her zaman insanda olması gerektiğini düşünüyorum.

Teknik ayrıntılar NVIDIA'nın resmî sayfasında.