Audio8 TTS (offline, voice clone, 11 languages)

Ne yapar

Kurmadan önce

Audio8 TTS bilgisayarınızdan hafif dublaj motorlarından daha fazlasını ister:

• Disk: model için yaklaşık 1 GB, seslendirdiğiniz ilk satırda iner.
• Bellek: konuşurken yaklaşık 1,6 GB ve yeni bir konuşmacıyı ilk duyduğunda kısa bir süre için 3 GB'a kadar.
• Süre: konuşmanın her saniyesi iki ila üç saniyede üretilir, Intel Core i7-13700T'de. On dakikalık bir video yaklaşık yarım saat sürebilir.
• İşlemci: herhangi bir 64 bit Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.

Hızlı dublaj için Sopro ya da Chatterbox, daha az dilde, sesleri yaklaşık gerçek zamanda ya da daha hızlı klonlar.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Audio8 TTS'i seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

1 ses.

Audio8 TTS'in tek bir sesi vardır, Speaker's own voice; hazır sesi yoktur: her satır bir konuşmacıyı klonlar. Subtitld projenin sesinden o konuşmacının bir örneğini keser: 3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır.

Subtitld örnekle birlikte altyazı metnini de gönderir ve Audio8 TTS onu konuşmacıya daha çok yaklaşmak için kullanır. Metin olmadan, örneğin projenin özgün dili ayarlanmamışsa, eklenti yalnızca örneğin sesinden, biraz daha az yakın klonlar. Altyazılarınız konuşmayı birebir yazmak yerine yeniden ifade ediyorsa, Don't send the subtitles of the reference clip seçeneğini açın.

Her konuşmacının ilk satırı, eklenti örneğini dinlerken birkaç saniye daha uzun sürer. Eklenti bunu hatırlar, bu yüzden konuşmacının sonraki satırları hemen başlar.

Modeller

Tek bir model var: Audio8 TTS Preview 0.6B, yapımcılarının işlemciler için yayımladığı 4 bitlik ONNX derlemesiyle. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.

Eklenti bu derlemeyi PyTorch olmadan çalıştırır. Aynı ses, satır ve seed ile, Audio8'in kendi çalışma ortamının verdiğinin tam olarak aynısını verir.

Seçenekler

Ayarlar › Eklentiler › Audio8 TTS (offline, voice clone, 11 languages) › Yapılandır bölümünde.

Diller

Çince, Kantonca, Japonca, Korece, İngilizce, Felemenkçe, Fransızca, Almanca, İtalyanca, Lehçe ve İspanyolca. Bunlardan birindeki bir klipten klonlanan konuşmacı, diğerlerinin hepsini konuşur. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

Audio8 bu modele önizleme diyor: bunlar önerdiği dillerdir. Her birinde bir cümleyi Whisper ve bir ses benzerliği puanıyla denetledik; her dilde kulakla değil.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Platformlar

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modeli indirir ve onunla seslendirir.

Sorun giderme

• network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
• disk_fullModel için yeterli disk alanı yok. Yaklaşık 1 GB gerekir.
• unsupported_languageProjenin dili bu on bir dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
• unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
• bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
• out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın: Audio8 TTS yaklaşık 3 GB boş bellek ister.
• internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Ticari işler için uygundur: eklenti Apache-2.0; Audio8 TTS'in kodu ve Audio8 TTS Preview 0.6B ağırlıkları da öyle. Yaptığınız dublajlar sizindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.