Chatterbox offline, clonazione vocale, 20 lingue
Doppia i tuoi sottotitoli in 20 lingue con Chatterbox di Resemble AI, con la voce di ogni parlante clonata da pochi secondi del video, oppure con una di 8 voci predefinite. Una voce clonata parla tutte le lingue, qualunque sia la lingua della clip. Funziona sul processore del tuo computer, circa in tempo reale, senza scheda grafica.
Impostazioni Componenti aggiuntivi Chatterbox (offline, voice clone, 20 languages) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Lingue
- 20
- Modelli
- 2
- Voci
- 9
- Download del componente
- 39–62 MB
- RAM, almeno
- 2 GB
Ascolta
Cosa fa
Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con ogni battuta. Chatterbox clona quella voce in una qualsiasi delle sue 20 lingue, così un attore portoghese può essere doppiato in tedesco e suonare ancora come se stesso.
Multilingual parla tutte le 20 lingue. Turbo parla solo inglese, somiglia di più al parlante, richiede meno memoria e legge tag come [laugh] e [sigh] scritti nel sottotitolo.
Funziona sul processore circa in tempo reale, senza scheda grafica: una battuta di 10 secondi richiede circa 10 secondi.
Il componente aggiuntivo è Apache-2.0, Chatterbox e i suoi modelli sono MIT, e le voci predefinite sono lettori di LibriVox, di pubblico dominio.
Prima di installare
- Disco: Multilingual scarica 1,3 GB alla sua prima battuta, Turbo 725 MB.
- Memoria: circa 1,7 GB mentre parla con Multilingual, circa 1 GB con Turbo.
- Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.
Clona una voce solo con il consenso della persona a cui appartiene. Le build ufficiali di Chatterbox marcano il loro audio con una filigrana impercettibile; questo componente aggiuntivo no, quindi la responsabilità di come viene usata una voce clonata è tua.
Voci
Nella scheda Parlanti, scegli Chatterbox come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.
9 voci.
Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione. Il campione migliore è di 5-20 secondi del parlante da solo, senza musica né altre voci; il componente aggiuntivo ne usa i primi 10 secondi.
| Voci predefinite | |
|---|---|
| Donne | Inglese, portoghese, francese, tedesco |
| Uomini | Inglese, portoghese, francese, tedesco |
Ogni voce predefinita è un volontario di LibriVox che legge un libro in quella lingua, gli stessi lettori del componente aggiuntivo Sopro. Ogni voce predefinita parla tutte le 20 lingue; la sua lingua le dà solo un accento, quindi scegli quella più vicina alla lingua del tuo progetto per il doppiaggio più naturale.
Modelli
Nessuno dei due modelli è incluso nel componente aggiuntivo: quello che usi si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene i modelli.
| Modello | Lingua | Download | Adatto a |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Predefinito multilingual | | Tutte le 20 lingue; quello predefinito | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Solo inglese: più somigliante al parlante, meno memoria, e legge [laugh], [sigh] e [cough] |
Il componente aggiuntivo esegue esportazioni ONNX di Chatterbox, senza PyTorch. Nel nostro test con 10 frasi in inglese, portoghese, francese, tedesco, spagnolo, italiano, russo e polacco, ognuna clonata da due voci, Multilingual ha sbagliato il 2,4% delle parole e somigliava al parlante; Turbo non ne ha sbagliata nessuna in inglese e somigliava ancora di più.
Opzioni
In Impostazioni › Componenti aggiuntivi › Chatterbox (offline, voice clone, 20 languages) › Configuri.
multilingualTurbo parla solo inglese. Con Turbo scelto, le battute in altre lingue vengono lette da Multilingual. In memoria c'è un solo modello alla volta.
0.5Solo Multilingual: quanta emozione mette la voce. 0,5 è il valore predefinito di Chatterbox stesso; più alto è più drammatico e tende a parlare più veloce.
00 usa metà dei processori logici del computer, al massimo 8. Meno thread lasciano il computer più reattivo durante il doppiaggio.
Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 5 a 20 secondi di una persona che parla.
Lingue
Arabo, danese, olandese, inglese, finlandese, francese, tedesco, greco, hindi, italiano, coreano, malese, norvegese, polacco, portoghese, russo, spagnolo, swahili, svedese e turco. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.
Chatterbox ha anche ebraico, giapponese e cinese, che il componente aggiuntivo lascia fuori: l'ebraico richiede un secondo modello per aggiungere i segni vocalici, il giapponese richiede un convertitore la cui licenza non ne consente l'inclusione, e il cinese è uscito incomprensibile nei nostri test.
Scrivi numeri e simboli in lettere quando conta. Una battuta viene letta tutta d'un fiato, fino a 40 secondi di parlato.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Piattaforme
| Sistema | Download | Testato |
|---|---|---|
| Linux x86-64 | 62.5 MB | Doppiato con entrambi i modelli su una macchina vera, e in Subtitld stesso |
| macOS (Apple silicon) | 43.7 MB | In CI, il componente aggiuntivo installato scarica un modello e doppia con esso (Apple Silicon) |
| Windows x86-64 | 38.7 MB | In CI, il componente aggiuntivo installato scarica un modello e doppia con esso |
Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica un modello e doppia con esso.
Risoluzione dei problemi
network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.disk_fullSpazio su disco insufficiente per il modello: 1,3 GB per Multilingual, 725 MB per Turbo.unsupported_languageLa lingua del progetto non è una delle 20, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale dei due.out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi, o scegli Turbo per l'inglese: ha bisogno di circa 1 GB.internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.
Licenza
Adatto all'uso commerciale: il componente aggiuntivo è Apache-2.0, e Chatterbox ed entrambi i modelli sono MIT. Le voci predefinite sono registrazioni di LibriVox, di pubblico dominio; quelle inglesi arrivano tramite LibriTTS-R, con licenza CC-BY-4.0, e il componente aggiuntivo cita ciascuna. I doppiaggi che crei sono tuoi.
Versioni
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Altri componenti aggiuntivi Voci
-
Piper Offline
158 voci offline in 49 lingue, ciascuna un piccolo download separato.
-
Kokoro Offline
54 voci offline in nove lingue, tutte da un unico modello da 82 MB.
-
Supertonic Offline
Dieci voci offline, ciascuna capace di parlare tutte e 31 le lingue.
-
sanoTTS Offline
Voci offline minuscole, 28 in 14 lingue, ciascuna sotto i 10 MB.
-
Parler-TTS Offline
Voci inglesi che seguono una descrizione scritta; 34 parlanti con nome.
-
Qwen3-TTS Clonazione
Dieci lingue, nove voci, e clonazione da 3 secondi di un parlante.
-
Coqui XTTS Clonazione
Clonazione vocale in 16 lingue, con licenza del modello non commerciale.
-
F5-TTS Clonazione
Solo clonazione vocale, in inglese e cinese; modello non commerciale.
-
VoxCPM2 Clonazione
30 lingue a 48 kHz, con la voce del parlante o una voce descritta. Pesante.
-
Pocket TTS Offline
Veloce e leggero, solo CPU. 23 voci in sette lingue europee.
-
Sopro Clonazione
La voce del parlante, veloce su una CPU. Quattro lingue.
-
KittenTTS 2 Clonazione
La voce del parlante in 16 lingue, su una CPU. Pesi con una licenza restrittiva.
-
Ming-3.0-tts Clonazione
7 lingue a 44,1 kHz: voci clonate, integrate o descritte, con emozione. Pesante.
-
Scylla's Band Offline
Quattordici voci in sei lingue, leggero e veloce su una CPU. Solo voci predefinite.
-
Audio8 TTS Clonazione
La voce del parlante in 23 lingue, cantonese e arabo compresi. Lento su una CPU.
-
Inflect Offline
Voce inglese naturale da un modello minuscolo, veloce su qualsiasi CPU.
-
Paradee Offline
Quattro voci inglesi naturali, americane e britanniche, da un solo modello da 8,5 MB.
-
BlueTTS Clonazione
Ebraico e yiddish, più altre cinque lingue. La voce del parlante, veloce su una CPU.
-
ZONOS3-Mini Clonazione
43 lingue, dall'arabo al vietnamita. La voce del parlante, su una CPU.
-
Reverb Clonazione
Sette lingue europee e la voce del parlante, su una CPU; modello non commerciale.
-
OmniVoice Clonazione
646 lingue, la voce del parlante anche in altre lingue; modello non commerciale.
-
VoxMel Clonazione
Inglese e mandarino, con cloni fedeli della voce del parlante.
-
tiny-voca Offline
Due voci in inglese americano da un modello da 4,5 milioni di parametri, senza niente da scaricare.