Parakeet & Nemotron çevrimdışı, 33 dil

Ne yapar

Kullanım

Bir dosyayı yazıya dökmek için İçe aktar sekmesini açın, Yazıya dökme motoru olarak Parakeet & Nemotron'u seçin, Altyazı dili alanından dili ayarlayın ve Yazıya dökmeyi başlat düğmesine basın. Geri kalanı hâlâ yazıya dökülürken altyazılar zaman çizelgesinde belirir: ses birer dakikalık parçalar halinde işlenir (Nemotron'da yarım dakikalık), böylece ilerleme çubuğu hareket etmeye devam eder ve İptal birkaç saniye içinde etkili olur.

Canlı altyazılar için Ses sekmesini açın ve Kayıt altında bu eklentiyi Yazıya dökme motoru olarak seçin.

Modeller

Üç model var ve hiçbiri eklentinin içinde değildir. Her biri ilk gerektiğinde, NVIDIA'nın Hugging Face'teki kendi sayfalarından, sabitlenmiş tek bir sürümle ve parmak izine göre denetlenerek Subtitld'nin ortak model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modelleri tutar.

Bir dosyayı hangi modelin yazıya dökeceğine eklentinin Model ayarı karar verir. Varsayılan olan Automatic'te Parakeet bildiği 25 dili, Nemotron da diğer sekizini alır. İkisinin de bildiği bir dil için Nemotron'u da seçebilirsiniz; ama orada da Parakeet daha iyi bir seçimdir.

Parakeet her kelimeyi duyduğu anda zamanlar. Nemotron ise bir kelimeyi onu yazdığı anda, yani kelimenin sonuna yakın zamanlar; bu yüzden eklenti her kelimeyi söylendiği yere geri kaydırır. Bir test filminde Nemotron'un altyazılarının %76'sı, filmin kendi altyazılarından en fazla yarım saniye farkla başlıyor; Parakeet'te bu oran %85. Müzik ve ses efektlerinin üzerinde Nemotron çoğu zaman noktalama koymaz, bu yüzden altyazıları 0,8 saniyelik bir duraklamada da biter.

Bir dizüstü bilgisayar işlemcisinde ölçüldü (Intel i7-13700T):

Modellerin saklandığı yer

Üç model birlikte yaklaşık 1,6 GB yer kaplar. Yer açmak için klasörü silin; her model bir sonraki gerektiğinde yeniden iner.

Canlı altyazılar

Siz kayıt yaparken Nemotron her kelimenin biraz ötesini dinler (varsayılan olarak 560 ms; bkz. Live caption delay) ve siz konuştukça kelimeleri yazar. Subtitld cümle bitene kadar onları gösterir, ardından cümle kendi altyazısını doldurur. Yeni bir kelime gelmeden 0,8 saniye geçince cümle biter.

İlk seferde 742 MB'lık Nemotron modeli iner ve indirmenin ilerlemesi, kelimelerin görüneceği yerde gösterilir. Canlı altyazılar, dosyalara göre daha sık küçük harfle ve noktalamasız çıkar: temiz bir metin için kaydı daha sonra Parakeet ile yazıya dökün. Konuşmacı etiketleri yalnızca dosyalar içindir.

Seçenekler

Ayarlar › Eklentiler › Parakeet & Nemotron (offline, 33 languages) › Yapılandır bölümünde.

Diller

33 dil. Parakeet 25 dil bilir: Bulgarca, Hırvatça, Çekçe, Danca, Felemenkçe, İngilizce, Estonca, Fince, Fransızca, Almanca, Yunanca, Macarca, İtalyanca, Letonca, Litvanca, Maltaca, Lehçe, Portekizce, Rumence, Rusça, Slovakça, Slovence, İspanyolca, İsveççe ve Ukraynaca. Nemotron 28 dil bilir: Yunanca, Letonca, Litvanca, Maltaca ve Slovence dışında bunların hepsi, ayrıca Arapça, Çince, Hintçe, Japonca, Korece, Norveççe, Türkçe ve Vietnamca. Canlı altyazılar Nemotron'un 28 dilini kapsar.

Dili boş bırakırsanız Parakeet, kendi 25 dilinden hangisinin konuşulduğunu kendisi bulur. Nemotron'a ise dil söylenir; İngilizce, İspanyolca, Fransızca ve Portekizce için ayrıca dilin çeşidi de: en-gb, es-es, fr-ca ve pt-br sırasıyla İngiliz İngilizcesi, İspanya İspanyolcası, Kanada Fransızcası ve Brezilya Portekizcesi verir. Bölge belirtilmezse Amerikan İngilizcesi, Latin Amerika İspanyolcası, Fransa Fransızcası ve Avrupa Portekizcesi bekler. İki modelin de bilmediği bir dil seçilirse, bildikleri dilleri listeleyen bir mesaj çıkar.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Platformlar

Linux x86-64 (2018 ve sonrasındaki her dağıtım), Apple Silicon'da macOS ve Windows x86-64. x86-64'te işlemcinin AVX2 desteklemesi gerekir: Intel'de 2013'ten, AMD'de 2015'ten beri bulunur. ffmpeg, Subtitld ile birlikte gelir.

Mac'te eklenti grafik işlemcisini (Metal) ayrı bir süreçte bir kez dener; başarısız olursa işlemciyi kullanır. Sonuç, modeller klasöründe metal-check.json dosyasında saklanır. Kendiniz seçmek için Subtitld'yi başlatmadan önce PARAKEET_NEMOTRON_DEVICE değerini cpu ya da gpu olarak ayarlayın.

Her sürüm üç sistemin hepsinde derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modelleri indirir ve her modelle bir dosyayı yazıya döker; konuşmacı etiketleriyle ve canlı olarak da.

Sorun giderme

• unsupported_languageModel projenin dilini yazıya dökemiyor; mesaj, dökebildiği dilleri listeler. Model ayarını Automatic yapın ya da başka bir motor seçin. Yunanca, Letonca, Litvanca, Maltaca ve Slovence için canlı altyazı yoktur: dosyayı sonradan yazıya dökün.
• network_unavailableBir model indirilemedi ya da indirilen bir dosya denetimden geçemedi ve silindi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
• disk_fullModeller ya da çözülmüş ses için yeterli disk alanı yok. Üç model birlikte yaklaşık 1,6 GB yer kaplar.
• oomBellek yetersiz. Diğer programları kapatın: uzun bir film yaklaşık 1,3 GB ister.
• bad_paramsSubtitld sesi aktaramadı; mesaj nedenini söyler.
• internalEklentinin içinde bir şey başarısız oldu; çoğu zaman sesi çözen ffmpeg ya da yüklenemeyen bir model. Ayrıntılar mesajda. Mesaj işlemcide AVX2 olmadığını söylüyorsa, bu bilgisayar eklentiyi çalıştıramaz.

Lisans

Ticari işler için uygundur. Eklenti ve NVIDIA'nın NeMo-Speech.cpp'si Apache-2.0'dır. Parakeet CC-BY-4.0'dır; bu lisans, ağırlıkların kendisi paylaşıldığı her yerde NVIDIA'ya atıf ister. İki Nemotron modeli, modeller için hazırlanmış ve onlarla ürettiklerinize hiçbir sınır koymayan serbest bir lisans olan OpenMDW-1.1 altındadır. Modeller NVIDIA'dan iner; eklenti onları içermez. Ürettiğiniz altyazılar sizindir.