Chatterbox offline, klonowanie głosu, 20 języków
Dubbinguje twoje napisy w 20 językach za pomocą Chatterbox od Resemble AI, własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo, albo jednym z 8 gotowych głosów. Sklonowany głos mówi w każdym języku, niezależnie od języka klipu. Działa na procesorze twojego komputera, mniej więcej w czasie rzeczywistym, bez karty graficznej.
Ustawienia Dodatki Chatterbox (offline, voice clone, 20 languages) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 20
- Modele
- 2
- Głosy
- 9
- Pobranie dodatku
- 39–62 MB
- RAM, co najmniej
- 2 GB
Posłuchaj
Co robi
Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je z każdą kwestią. Chatterbox klonuje ten głos w każdym ze swoich 20 języków, więc portugalskiego aktora można zdubbingować po niemiecku, a on wciąż brzmi jak on sam.
Multilingual mówi we wszystkich 20 językach. Turbo mówi tylko po angielsku, brzmi bliżej mówcy, potrzebuje mniej pamięci i czyta tagi takie jak [laugh] i [sigh] wpisane w napisie.
Działa na procesorze mniej więcej w czasie rzeczywistym, bez karty graficznej: 10-sekundowa kwestia zajmuje około 10 sekund.
Dodatek jest na licencji Apache-2.0, Chatterbox i jego modele na licencji MIT, a gotowe głosy to lektorzy LibriVox, w domenie publicznej.
Przed instalacją
- Dysk: Multilingual pobiera 1,3 GB przy pierwszej kwestii, Turbo 725 MB.
- Pamięć: około 1,7 GB podczas mówienia z Multilingual, około 1 GB z Turbo.
- Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.
Klonuj głos tylko za zgodą jego właściciela. Oficjalne wersje Chatterbox oznaczają swój dźwięk niesłyszalnym znakiem wodnym; ten dodatek tego nie robi, więc odpowiedzialność za to, jak używasz sklonowanego głosu, spoczywa na tobie.
Głosy
W karcie Mówcy wybierz Chatterbox jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.
9 głosów.
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki. Najlepsza próbka to od 5 do 20 sekund samego mówcy, bez muzyki i innych głosów; dodatek używa jej pierwszych 10 sekund.
| Gotowe głosy | |
|---|---|
| Kobiety | angielski, portugalski, francuski, niemiecki |
| Mężczyźni | angielski, portugalski, francuski, niemiecki |
Każdy gotowy głos to wolontariusz LibriVox czytający książkę w danym języku, ci sami lektorzy co w dodatku Sopro. Każdy z nich mówi we wszystkich 20 językach; jego własny język nadaje mu tylko akcent, więc dla najbardziej naturalnego dubbingu wybierz głos najbliższy językowi projektu.
Modele
Żadnego z modeli nie ma w dodatku: ten, którego używasz, pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje modele.
| Model | Język | Pobranie | Dobry do |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Domyślne multilingual | | Wszystkie 20 języków; domyślny | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Tylko angielski: bliżej mówcy, mniej pamięci, czyta [laugh], [sigh] i [cough] |
Dodatek uruchamia eksporty ONNX Chatterbox, bez PyTorch. W naszym teście 10 zdań po angielsku, portugalsku, francusku, niemiecku, hiszpańsku, włosku, rosyjsku i polsku, każde sklonowane z dwóch głosów, Multilingual pomylił 2,4% słów i brzmiał podobnie do mówcy; Turbo nie pomylił po angielsku ani jednego i brzmiał jeszcze bliżej.
Opcje
W Ustawieniach › Dodatki › Chatterbox (offline, voice clone, 20 languages) › Konfiguruj.
multilingualTurbo mówi tylko po angielsku. Gdy wybrany jest Turbo, kwestie w innych językach czyta Multilingual. W pamięci jest naraz tylko jeden model.
0.5Tylko Multilingual: ile emocji głos wkłada w mowę. 0,5 to domyślna wartość samego Chatterbox; wyżej jest bardziej dramatycznie i zwykle szybciej.
00 używa połowy procesorów logicznych komputera, najwyżej 8. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 5 do 20 sekund mowy jednej osoby.
Języki
Arabski, duński, niderlandzki, angielski, fiński, francuski, niemiecki, grecki, hindi, włoski, koreański, malajski, norweski, polski, portugalski, rosyjski, hiszpański, suahili, szwedzki i turecki. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.
Chatterbox ma też hebrajski, japoński i chiński, których dodatek nie obejmuje: hebrajski potrzebuje drugiego modelu do dodania znaków samogłoskowych, japoński potrzebuje konwertera, którego licencja nie pozwala go dołączyć, a chiński wychodził w naszych testach zniekształcony.
Tam, gdzie to ma znaczenie, zapisuj liczby i symbole słownie. Kwestia jest wypowiadana za jednym razem, do 40 sekund mowy.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 62.5 MB | Dubbing obydwoma modelami na prawdziwej maszynie i w samym Subtitld |
| macOS (Apple silicon) | 43.7 MB | W CI zainstalowany dodatek pobiera model i robi nim dubbing (Apple Silicon) |
| Windows x86-64 | 38.7 MB | W CI zainstalowany dodatek pobiera model i robi nim dubbing |
Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi nim dubbing.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model: 1,3 GB dla Multilingual, 725 MB dla Turbo.unsupported_languageJęzyk projektu nie jest jednym z 20 albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy albo wybierz Turbo dla angielskiego: potrzebuje około 1 GB.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.
Licencja
Można używać komercyjnie: dodatek jest na licencji Apache-2.0, a Chatterbox i oba modele na licencji MIT. Gotowe głosy to nagrania LibriVox w domenie publicznej; angielskie pochodzą z LibriTTS-R, na licencji CC-BY-4.0, a dodatek podaje autora każdego z nich. Dubbing, który tworzysz, należy do ciebie.
Wersje
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 23 językach, w tym kantońskim i arabskim. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
BlueTTS Klon
Hebrajski i jidysz oraz pięć innych języków. Własny głos mówcy, szybko na procesorze.
-
ZONOS3-Mini Klon
43 języki, od arabskiego po wietnamski. Własny głos mówcy, na procesorze.
-
Reverb Klon
Siedem języków europejskich i własny głos mówcy, na procesorze; model niekomercyjny.
-
OmniVoice Klon
646 języków, własny głos mówcy także w innych językach; model niekomercyjny.
-
VoxMel Klon
Angielski i mandaryński, z wiernymi klonami własnego głosu mówcy.
-
tiny-voca Offline
Dwa amerykańskie angielskie głosy z modelu o 4,5 mln parametrów, bez pobierania czegokolwiek.