Reverb offline, klonowanie głosu, 7 języków, niekomercyjny

GłosyOfflineTylko CPUKlonowanie głosuNiekomercyjne

Dubbinguje twoje napisy po angielsku, niemiecku, francusku, hiszpańsku, włosku, polsku i portugalsku za pomocą Reverb-TTS od Software Mansion AI Labs, jednym z 16 głosów albo własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo i jego napisów. Działa na procesorze twojego komputera, bez karty graficznej. Model jest przeznaczony wyłącznie do użytku niekomercyjnego.

Zainstaluj z poziomu Subtitld

Ustawienia Dodatki Reverb (offline, voice clone, 7 languages, non-commercial) Zainstaluj

Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.

Źródło na GitHub
Języki
7
Modele
3
Głosy
17
Pobranie dodatku
40–65 MB
RAM, co najmniej
2.5 GB

Co robi

Siedem języków

Angielski, niemiecki, francuski, hiszpański, włoski, polski i portugalski. Liczby, daty, ceny i jednostki są czytane słownie, na sposób właściwy dla każdego języka.

Własny głos mówcy

Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je razem z napisami, które w nich padają. Reverb klonuje ten głos w każdym ze swoich siedmiu języków. Możesz też wybrać jeden z 16 głosów.

Exact albo Fast

Exact uruchamia model tak, jak został opublikowany. Fast jest mniej więcej dwa razy szybszy i mniejszy do pobrania, kosztem niewielkiej utraty dokładności.

Offline po pierwszej kwestii

Model pobiera się raz, gdy pierwsza kwestia go potrzebuje. Potem nic nie opuszcza twojego komputera.

Model niekomercyjny. Wagi Reverb-TTS i jego gotowe głosy są na licencji CC-BY-NC-4.0, która nie pozwala na użytek komercyjny. Kod dodatku jest na licencji Apache-2.0, ale to nie zmienia warunków wag. Do pracy komercyjnej ZONOS3-Mini również klonuje głosy we wszystkich tych siedmiu językach, a jego wagi są na licencji Apache-2.0.

Przed instalacją

  • Dysk: 640 MB na model, pobierany przy pierwszej kwestii; zamiast tego 378 MB, jeśli przed pierwszą kwestią wybierzesz Fast. Przy pierwszym użyciu własnego głosu mówcy 327 MB więcej.
  • Pamięć: około 1,5 GB podczas mówienia.
  • Czas: na procesorze Intel Core i7-13700T zajętym inną pracą wytworzenie sekundy mowy zajęło około 0,8 sekundy w szybkości Exact i około 0,6 sekundy w Fast.
  • Procesor: 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.

Głosy

W karcie Mówcy wybierz Reverb jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

17 głosów.

Język nagrania Kobiety Mężczyźni
Angielski Narratorka, szept Narrator 1, narrator 2, zły
Francuski Francuzka Francuz
Niemiecki Niemka Niemiec
Włoski Włoch, ekspresyjny Włoch
Polski Polak
Portugalski Portugalka Portugalczyk
Hiszpański Hiszpan 1, Hiszpan 2

To gotowe głosy samego Reverb. Każdy głos mówi w każdym języku, ale z akcentem języka, w którym został nagrany. Dla języka, który nie ma tu własnego głosu albo głosu kobiecego, użyj własnego głosu mówcy.

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych, i wysyła to, co w niej pada: tekst tych napisów. Reverb potrzebuje obu. Kontynuuje od próbki i jej słów, a bez słów gubiłby pierwsze słowa każdej kwestii.

Dlatego napisy muszą być w języku, którym mówi się w wideo. Jeśli je przetłumaczyłeś, Subtitld wysyła oryginalny tekst, o ile wie, w jakim języku jest dźwięk: ustaw go w Język napisów w panelu Transkrypcja. W przeciwnym razie kwestia zatrzymuje się z komunikatem, który to mówi. Napisy, które parafrazują to, co pada, zamiast to transkrybować, pogarszają klon.

Najlepsza próbka to od 3 do 10 sekund mowy jednej osoby, czystej i blisko mikrofonu. Próbka krótsza niż 2 sekundy jest odrzucana, a dłuższa niż 15 sekund zwykle daje gorsze kwestie. Fallback reference clip w ustawieniach dodatku, razem z Fallback clip's transcript, jest używany tylko wtedy, gdy nie da się wyciąć próbki.

Każda kwestia powstaje z ziarnem, które wysyła Subtitld, więc ta sama kwestia tym samym głosem za każdym razem wychodzi tak samo.

Modele

Modelu nie ma w dodatku: pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z własnego wydania dodatku na GitHubie, gdzie wagi Reverb są przechowywane po konwersji dla ONNX Runtime, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku go zachowuje.

Model PobranieDobry do
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Domyślne reverb
640 MB
Każda kwestia w szybkości Exact, domyślnej: sieć, dekoder i 16 głosów
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Każda kwestia w szybkości Fast, zamiast sieci Exact: łącznie z dekoderem 378 MB
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Własny głos mówcy, przy pierwszym dubbingu takim głosem

Exact i Fast współdzielą dekoder i głosy (111 MB): różni się tylko sieć, 529 MB dla Exact i 266 MB dla Fast. Późniejsze przełączenie z jednej na drugą pobiera drugą sieć, gdy pierwsza kwestia jej potrzebuje.

Dodatek uruchamia Reverb na ONNX Runtime, bez PyTorch. Sampler i przygotowanie tekstu Reverb są przeniesione z własnego kodu Software Mansion. Liczby losowe pochodzą z innego źródła, więc to samo ziarno daje tu inne ujęcie niż we własnym pakiecie Reverb; sieć Exact jest sprawdzana pod kątem tego, czy przewiduje to samo co ten pakiet.

Opcje

W Ustawieniach › Dodatki › Reverb (offline, voice clone, 7 languages, non-commercial) › Konfiguruj.

CPU threads
Domyślnie: 0

0 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.

Quality steps
Domyślnie: 8

Ile przebiegów model wykonuje nad każdą kwestią. 8 to ustawienie samego Reverb; mniej jest szybciej, ale z większą liczbą potknięć.

Speed
Domyślnie: exact

Exact uruchamia model tak, jak opublikowało go Software Mansion. Fast uruchamia go na 8-bitowych liczbach całkowitych, mniej więcej dwa razy szybciej, z osobnym pobraniem 266 MB: jego kwestie zwykle brzmią tak samo, ale bardziej odbiega od opublikowanego modelu i częściej się potyka.

Fallback reference clip
Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 10 sekund mowy jednej osoby, czysty.

Fallback clip's transcript
Domyślnie: pusty

Dokładnie to, co pada w klipie zapasowym, słowo w słowo. Reverb klonuje z klipu i jego słów, więc bez tego klip zapasowy jest odrzucany.

Języki

Angielski, niemiecki, francuski, hiszpański, włoski, polski i portugalski. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Platformy

System PobraniePrzetestowano
Linux x86-64 64.9 MBMówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI
macOS (Apple silicon) 45.6 MBMówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI (Apple Silicon)
Windows x86-64 40.5 MBMówił we wszystkich siedmiu językach i sklonował głos prawdziwym modelem w CI

Linux x86-64 (glibc 2.35 lub nowszy, jak w Ubuntu 22.04, Debianie 12 czy Fedorze 36), macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model, wypowiada kwestię w każdym języku i klonuje głos.

Rozwiązywanie problemów

  • network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
  • disk_fullZa mało miejsca na dysku na model: 640 MB (378 MB w Fast) i 327 MB więcej na własny głos mówcy.
  • unsupported_languageJęzyk projektu nie jest jednym z siedmiu albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
  • unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
  • bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki lub jej transkrypcji. W przetłumaczonym projekcie ustaw Język napisów na język, którym się mówi; bez otwartego wideo ustaw Fallback reference clip i jego transkrypcję. Komunikat mówi które.
  • out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: Reverb potrzebuje około 1,5 GB wolnej pamięci.
  • internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.

Licencja

Dodatek
Apache-2.0
z własnym kodem Reverb przeniesionym do numpy
Silnik
MIT
ONNX Runtime
Model
CC-BY-NC-4.0
Wagi Reverb-TTS v1.0.0 od Software Mansion AI Labs; tylko do użytku niekomercyjnego
Głosy
CC-BY-NC-4.0
16 gotowych głosów Reverb; tylko do użytku niekomercyjnego
Czytanie tekstu
MIT, Unicode-3.0
Verbalis od Software Mansion, z tabelą z Unicode Character Database

Dodatek jest na licencji Apache-2.0, podobnie jak kod Reverb, który przenosi. Wagi Reverb-TTS i jego 16 gotowych głosów są na licencji CC-BY-NC-4.0: tylko do użytku niekomercyjnego. Plik licencji dołączony do modelu mówi, co zmieniono przy jego konwersji. ONNX Runtime jest na licencji MIT, a Verbalis, który czyta liczby i daty, też na licencji MIT.

Używaj odpowiedzialnie. Sklonowany głos brzmi jak prawdziwa osoba. Klonuj tylko głosy, do których masz prawo, za zgodą mówcy; nie podszywaj się pod prawdziwe osoby i nie używaj wytworzonej mowy do oszukiwania, wyłudzeń ani nękania. Informuj słuchaczy, kiedy słyszą syntetyczny głos.

Wersje

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Inne dodatki: Głosy

Zaktualizowano · Z katalogu dodatków Zgłoś problem z tym dodatkiem