Chatterbox offline, klonowanie głosu, 20 języków

GłosyOfflineTylko CPUKlonowanie głosuUżycie komercyjne dozwolone

Dubbinguje twoje napisy w 20 językach za pomocą Chatterbox od Resemble AI, własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo, albo jednym z 8 gotowych głosów. Sklonowany głos mówi w każdym języku, niezależnie od języka klipu. Działa na procesorze twojego komputera, mniej więcej w czasie rzeczywistym, bez karty graficznej.

Zainstaluj z poziomu Subtitld

Ustawienia Dodatki Chatterbox (offline, voice clone, 20 languages) Zainstaluj

Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.

Źródło na GitHub
Języki
20
Modele
2
Głosy
9
Pobranie dodatku
39–62 MB
RAM, co najmniej
2 GB

Posłuchaj

Co robi

Własny głos mówcy, w innym języku

Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je z każdą kwestią. Chatterbox klonuje ten głos w każdym ze swoich 20 języków, więc portugalskiego aktora można zdubbingować po niemiecku, a on wciąż brzmi jak on sam.

Dwa modele

Multilingual mówi we wszystkich 20 językach. Turbo mówi tylko po angielsku, brzmi bliżej mówcy, potrzebuje mniej pamięci i czyta tagi takie jak [laugh] i [sigh] wpisane w napisie.

Na każdym komputerze

Działa na procesorze mniej więcej w czasie rzeczywistym, bez karty graficznej: 10-sekundowa kwestia zajmuje około 10 sekund.

Wolny do pracy komercyjnej

Dodatek jest na licencji Apache-2.0, Chatterbox i jego modele na licencji MIT, a gotowe głosy to lektorzy LibriVox, w domenie publicznej.

Przed instalacją

  • Dysk: Multilingual pobiera 1,3 GB przy pierwszej kwestii, Turbo 725 MB.
  • Pamięć: około 1,7 GB podczas mówienia z Multilingual, około 1 GB z Turbo.
  • Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.

Klonuj głos tylko za zgodą jego właściciela. Oficjalne wersje Chatterbox oznaczają swój dźwięk niesłyszalnym znakiem wodnym; ten dodatek tego nie robi, więc odpowiedzialność za to, jak używasz sklonowanego głosu, spoczywa na tobie.

Głosy

W karcie Mówcy wybierz Chatterbox jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

9 głosów.

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki. Najlepsza próbka to od 5 do 20 sekund samego mówcy, bez muzyki i innych głosów; dodatek używa jej pierwszych 10 sekund.

Gotowe głosy
Kobiety angielski, portugalski, francuski, niemiecki
Mężczyźni angielski, portugalski, francuski, niemiecki

Każdy gotowy głos to wolontariusz LibriVox czytający książkę w danym języku, ci sami lektorzy co w dodatku Sopro. Każdy z nich mówi we wszystkich 20 językach; jego własny język nadaje mu tylko akcent, więc dla najbardziej naturalnego dubbingu wybierz głos najbliższy językowi projektu.

Modele

Żadnego z modeli nie ma w dodatku: ten, którego używasz, pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje modele.

ModelJęzyk PobranieDobry do
Chatterbox Multilingual (0.5B, 4-bit ONNX) Domyślne multilingual
1.3 GB
Wszystkie 20 języków; domyślny
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Tylko angielski: bliżej mówcy, mniej pamięci, czyta [laugh], [sigh] i [cough]

Dodatek uruchamia eksporty ONNX Chatterbox, bez PyTorch. W naszym teście 10 zdań po angielsku, portugalsku, francusku, niemiecku, hiszpańsku, włosku, rosyjsku i polsku, każde sklonowane z dwóch głosów, Multilingual pomylił 2,4% słów i brzmiał podobnie do mówcy; Turbo nie pomylił po angielsku ani jednego i brzmiał jeszcze bliżej.

Opcje

W Ustawieniach › Dodatki › Chatterbox (offline, voice clone, 20 languages) › Konfiguruj.

Model
Domyślnie: multilingual

Turbo mówi tylko po angielsku. Gdy wybrany jest Turbo, kwestie w innych językach czyta Multilingual. W pamięci jest naraz tylko jeden model.

Expressiveness
Domyślnie: 0.5

Tylko Multilingual: ile emocji głos wkłada w mowę. 0,5 to domyślna wartość samego Chatterbox; wyżej jest bardziej dramatycznie i zwykle szybciej.

CPU threads
Domyślnie: 0

0 używa połowy procesorów logicznych komputera, najwyżej 8. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.

Fallback reference clip
Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 5 do 20 sekund mowy jednej osoby.

Języki

Arabski, duński, niderlandzki, angielski, fiński, francuski, niemiecki, grecki, hindi, włoski, koreański, malajski, norweski, polski, portugalski, rosyjski, hiszpański, suahili, szwedzki i turecki. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.

Chatterbox ma też hebrajski, japoński i chiński, których dodatek nie obejmuje: hebrajski potrzebuje drugiego modelu do dodania znaków samogłoskowych, japoński potrzebuje konwertera, którego licencja nie pozwala go dołączyć, a chiński wychodził w naszych testach zniekształcony.

Tam, gdzie to ma znaczenie, zapisuj liczby i symbole słownie. Kwestia jest wypowiadana za jednym razem, do 40 sekund mowy.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Platformy

System PobraniePrzetestowano
Linux x86-64 62.5 MBDubbing obydwoma modelami na prawdziwej maszynie i w samym Subtitld
macOS (Apple silicon) 43.7 MBW CI zainstalowany dodatek pobiera model i robi nim dubbing (Apple Silicon)
Windows x86-64 38.7 MBW CI zainstalowany dodatek pobiera model i robi nim dubbing

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi nim dubbing.

Rozwiązywanie problemów

  • network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
  • disk_fullZa mało miejsca na dysku na model: 1,3 GB dla Multilingual, 725 MB dla Turbo.
  • unsupported_languageJęzyk projektu nie jest jednym z 20 albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
  • unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
  • bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
  • out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy albo wybierz Turbo dla angielskiego: potrzebuje około 1 GB.
  • internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.

Licencja

Dodatek
Apache-2.0
Silnik
MIT
Chatterbox, od Resemble AI; ONNX Runtime jest na licencji MIT
Model
MIT
Wagi Chatterbox Multilingual i Turbo, w ich eksportach ONNX
Gotowe głosy
Public domain, CC-BY-4.0
Lektorzy LibriVox; angielscy przez LibriTTS-R

Można używać komercyjnie: dodatek jest na licencji Apache-2.0, a Chatterbox i oba modele na licencji MIT. Gotowe głosy to nagrania LibriVox w domenie publicznej; angielskie pochodzą z LibriTTS-R, na licencji CC-BY-4.0, a dodatek podaje autora każdego z nich. Dubbing, który tworzysz, należy do ciebie.

Wersje

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Inne dodatki: Głosy

Zaktualizowano · Z katalogu dodatków Zgłoś problem z tym dodatkiem