Reverb offline, klonowanie głosu, 7 języków, niekomercyjny
Dubbinguje twoje napisy po angielsku, niemiecku, francusku, hiszpańsku, włosku, polsku i portugalsku za pomocą Reverb-TTS od Software Mansion AI Labs, jednym z 16 głosów albo własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo i jego napisów. Działa na procesorze twojego komputera, bez karty graficznej. Model jest przeznaczony wyłącznie do użytku niekomercyjnego.
Ustawienia Dodatki Reverb (offline, voice clone, 7 languages, non-commercial) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 7
- Modele
- 3
- Głosy
- 17
- Pobranie dodatku
- 40–65 MB
- RAM, co najmniej
- 2.5 GB
Co robi
Angielski, niemiecki, francuski, hiszpański, włoski, polski i portugalski. Liczby, daty, ceny i jednostki są czytane słownie, na sposób właściwy dla każdego języka.
Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je razem z napisami, które w nich padają. Reverb klonuje ten głos w każdym ze swoich siedmiu języków. Możesz też wybrać jeden z 16 głosów.
Exact uruchamia model tak, jak został opublikowany. Fast jest mniej więcej dwa razy szybszy i mniejszy do pobrania, kosztem niewielkiej utraty dokładności.
Model pobiera się raz, gdy pierwsza kwestia go potrzebuje. Potem nic nie opuszcza twojego komputera.
Model niekomercyjny. Wagi Reverb-TTS i jego gotowe głosy są na licencji CC-BY-NC-4.0, która nie pozwala na użytek komercyjny. Kod dodatku jest na licencji Apache-2.0, ale to nie zmienia warunków wag. Do pracy komercyjnej ZONOS3-Mini również klonuje głosy we wszystkich tych siedmiu językach, a jego wagi są na licencji Apache-2.0.
Przed instalacją
- Dysk: 640 MB na model, pobierany przy pierwszej kwestii; zamiast tego 378 MB, jeśli przed pierwszą kwestią wybierzesz Fast. Przy pierwszym użyciu własnego głosu mówcy 327 MB więcej.
- Pamięć: około 1,5 GB podczas mówienia.
- Czas: na procesorze Intel Core i7-13700T zajętym inną pracą wytworzenie sekundy mowy zajęło około 0,8 sekundy w szybkości Exact i około 0,6 sekundy w Fast.
- Procesor: 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.
Głosy
W karcie Mówcy wybierz Reverb jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.
17 głosów.
| Język nagrania | Kobiety | Mężczyźni |
|---|---|---|
| Angielski | Narratorka, szept | Narrator 1, narrator 2, zły |
| Francuski | Francuzka | Francuz |
| Niemiecki | Niemka | Niemiec |
| Włoski | Włoch, ekspresyjny Włoch | |
| Polski | Polak | |
| Portugalski | Portugalka | Portugalczyk |
| Hiszpański | Hiszpan 1, Hiszpan 2 |
To gotowe głosy samego Reverb. Każdy głos mówi w każdym języku, ale z akcentem języka, w którym został nagrany. Dla języka, który nie ma tu własnego głosu albo głosu kobiecego, użyj własnego głosu mówcy.
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych, i wysyła to, co w niej pada: tekst tych napisów. Reverb potrzebuje obu. Kontynuuje od próbki i jej słów, a bez słów gubiłby pierwsze słowa każdej kwestii.
Dlatego napisy muszą być w języku, którym mówi się w wideo. Jeśli je przetłumaczyłeś, Subtitld wysyła oryginalny tekst, o ile wie, w jakim języku jest dźwięk: ustaw go w Język napisów w panelu Transkrypcja. W przeciwnym razie kwestia zatrzymuje się z komunikatem, który to mówi. Napisy, które parafrazują to, co pada, zamiast to transkrybować, pogarszają klon.
Najlepsza próbka to od 3 do 10 sekund mowy jednej osoby, czystej i blisko mikrofonu. Próbka krótsza niż 2 sekundy jest odrzucana, a dłuższa niż 15 sekund zwykle daje gorsze kwestie. Fallback reference clip w ustawieniach dodatku, razem z Fallback clip's transcript, jest używany tylko wtedy, gdy nie da się wyciąć próbki.
Każda kwestia powstaje z ziarnem, które wysyła Subtitld, więc ta sama kwestia tym samym głosem za każdym razem wychodzi tak samo.
Modele
Modelu nie ma w dodatku: pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z własnego wydania dodatku na GitHubie, gdzie wagi Reverb są przechowywane po konwersji dla ONNX Runtime, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku go zachowuje.
| Model | Pobranie | Dobry do |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Domyślne reverb | Każda kwestia w szybkości Exact, domyślnej: sieć, dekoder i 16 głosów | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Każda kwestia w szybkości Fast, zamiast sieci Exact: łącznie z dekoderem 378 MB | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | Własny głos mówcy, przy pierwszym dubbingu takim głosem |
Exact i Fast współdzielą dekoder i głosy (111 MB): różni się tylko sieć, 529 MB dla Exact i 266 MB dla Fast. Późniejsze przełączenie z jednej na drugą pobiera drugą sieć, gdy pierwsza kwestia jej potrzebuje.
Dodatek uruchamia Reverb na ONNX Runtime, bez PyTorch. Sampler i przygotowanie tekstu Reverb są przeniesione z własnego kodu Software Mansion. Liczby losowe pochodzą z innego źródła, więc to samo ziarno daje tu inne ujęcie niż we własnym pakiecie Reverb; sieć Exact jest sprawdzana pod kątem tego, czy przewiduje to samo co ten pakiet.
Opcje
W Ustawieniach › Dodatki › Reverb (offline, voice clone, 7 languages, non-commercial) › Konfiguruj.
00 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.
8Ile przebiegów model wykonuje nad każdą kwestią. 8 to ustawienie samego Reverb; mniej jest szybciej, ale z większą liczbą potknięć.
exactExact uruchamia model tak, jak opublikowało go Software Mansion. Fast uruchamia go na 8-bitowych liczbach całkowitych, mniej więcej dwa razy szybciej, z osobnym pobraniem 266 MB: jego kwestie zwykle brzmią tak samo, ale bardziej odbiega od opublikowanego modelu i częściej się potyka.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 10 sekund mowy jednej osoby, czysty.
Dokładnie to, co pada w klipie zapasowym, słowo w słowo. Reverb klonuje z klipu i jego słów, więc bez tego klip zapasowy jest odrzucany.
Języki
Angielski, niemiecki, francuski, hiszpański, włoski, polski i portugalski. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.
endefresitplpt
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 64.9 MB | Mówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI |
| macOS (Apple silicon) | 45.6 MB | Mówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Mówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI |
Linux x86-64 (glibc 2.35 lub nowszy, jak w Ubuntu 22.04, Debianie 12 czy Fedorze 36), macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model, wypowiada kwestię w każdym języku i klonuje głos.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model: 640 MB (378 MB w Fast) i 327 MB więcej na własny głos mówcy.unsupported_languageJęzyk projektu nie jest jednym z siedmiu albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki lub jej transkrypcji. W przetłumaczonym projekcie ustaw Język napisów na język, którym się mówi; bez otwartego wideo ustaw Fallback reference clip i jego transkrypcję. Komunikat mówi które.out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: Reverb potrzebuje około 1,5 GB wolnej pamięci.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.
Licencja
Dodatek jest na licencji Apache-2.0, podobnie jak kod Reverb, który przenosi. Wagi Reverb-TTS i jego 16 gotowych głosów są na licencji CC-BY-NC-4.0: tylko do użytku niekomercyjnego. Plik licencji dołączony do modelu mówi, co zmieniono przy jego konwersji. ONNX Runtime jest na licencji MIT, a Verbalis, który czyta liczby i daty, też na licencji MIT.
Używaj odpowiedzialnie. Sklonowany głos brzmi jak prawdziwa osoba. Klonuj tylko głosy, do których masz prawo, za zgodą mówcy; nie podszywaj się pod prawdziwe osoby i nie używaj wytworzonej mowy do oszukiwania, wyłudzeń ani nękania. Informuj słuchaczy, kiedy słyszą syntetyczny głos.
Wersje
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 23 językach, w tym kantońskim i arabskim. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
BlueTTS Klon
Hebrajski i jidysz oraz pięć innych języków. Własny głos mówcy, szybko na procesorze.
-
ZONOS3-Mini Klon
43 języki, od arabskiego po wietnamski. Własny głos mówcy, na procesorze.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…