Chatterbox offline, clonazione vocale, 20 lingue

VociOfflineSolo CPUClonazione vocaleUso commerciale consentito

Doppia i tuoi sottotitoli in 20 lingue con Chatterbox di Resemble AI, con la voce di ogni parlante clonata da pochi secondi del video, oppure con una di 8 voci predefinite. Una voce clonata parla tutte le lingue, qualunque sia la lingua della clip. Funziona sul processore del tuo computer, circa in tempo reale, senza scheda grafica.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi Chatterbox (offline, voice clone, 20 languages) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
20
Modelli
2
Voci
9
Download del componente
39–62 MB
RAM, almeno
2 GB

Ascolta

Cosa fa

La voce del parlante, in un'altra lingua

Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con ogni battuta. Chatterbox clona quella voce in una qualsiasi delle sue 20 lingue, così un attore portoghese può essere doppiato in tedesco e suonare ancora come se stesso.

Due modelli

Multilingual parla tutte le 20 lingue. Turbo parla solo inglese, somiglia di più al parlante, richiede meno memoria e legge tag come [laugh] e [sigh] scritti nel sottotitolo.

Su qualsiasi computer

Funziona sul processore circa in tempo reale, senza scheda grafica: una battuta di 10 secondi richiede circa 10 secondi.

Libero per uso commerciale

Il componente aggiuntivo è Apache-2.0, Chatterbox e i suoi modelli sono MIT, e le voci predefinite sono lettori di LibriVox, di pubblico dominio.

Prima di installare

  • Disco: Multilingual scarica 1,3 GB alla sua prima battuta, Turbo 725 MB.
  • Memoria: circa 1,7 GB mentre parla con Multilingual, circa 1 GB con Turbo.
  • Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.

Clona una voce solo con il consenso della persona a cui appartiene. Le build ufficiali di Chatterbox marcano il loro audio con una filigrana impercettibile; questo componente aggiuntivo no, quindi la responsabilità di come viene usata una voce clonata è tua.

Voci

Nella scheda Parlanti, scegli Chatterbox come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

9 voci.

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione. Il campione migliore è di 5-20 secondi del parlante da solo, senza musica né altre voci; il componente aggiuntivo ne usa i primi 10 secondi.

Voci predefinite
Donne Inglese, portoghese, francese, tedesco
Uomini Inglese, portoghese, francese, tedesco

Ogni voce predefinita è un volontario di LibriVox che legge un libro in quella lingua, gli stessi lettori del componente aggiuntivo Sopro. Ogni voce predefinita parla tutte le 20 lingue; la sua lingua le dà solo un accento, quindi scegli quella più vicina alla lingua del tuo progetto per il doppiaggio più naturale.

Modelli

Nessuno dei due modelli è incluso nel componente aggiuntivo: quello che usi si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene i modelli.

ModelloLingua DownloadAdatto a
Chatterbox Multilingual (0.5B, 4-bit ONNX) Predefinito multilingual
1.3 GB
Tutte le 20 lingue; quello predefinito
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Solo inglese: più somigliante al parlante, meno memoria, e legge [laugh], [sigh] e [cough]

Il componente aggiuntivo esegue esportazioni ONNX di Chatterbox, senza PyTorch. Nel nostro test con 10 frasi in inglese, portoghese, francese, tedesco, spagnolo, italiano, russo e polacco, ognuna clonata da due voci, Multilingual ha sbagliato il 2,4% delle parole e somigliava al parlante; Turbo non ne ha sbagliata nessuna in inglese e somigliava ancora di più.

Opzioni

In Impostazioni › Componenti aggiuntivi › Chatterbox (offline, voice clone, 20 languages) › Configuri.

Model
Predefinito: multilingual

Turbo parla solo inglese. Con Turbo scelto, le battute in altre lingue vengono lette da Multilingual. In memoria c'è un solo modello alla volta.

Expressiveness
Predefinito: 0.5

Solo Multilingual: quanta emozione mette la voce. 0,5 è il valore predefinito di Chatterbox stesso; più alto è più drammatico e tende a parlare più veloce.

CPU threads
Predefinito: 0

0 usa metà dei processori logici del computer, al massimo 8. Meno thread lasciano il computer più reattivo durante il doppiaggio.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 5 a 20 secondi di una persona che parla.

Lingue

Arabo, danese, olandese, inglese, finlandese, francese, tedesco, greco, hindi, italiano, coreano, malese, norvegese, polacco, portoghese, russo, spagnolo, swahili, svedese e turco. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

Chatterbox ha anche ebraico, giapponese e cinese, che il componente aggiuntivo lascia fuori: l'ebraico richiede un secondo modello per aggiungere i segni vocalici, il giapponese richiede un convertitore la cui licenza non ne consente l'inclusione, e il cinese è uscito incomprensibile nei nostri test.

Scrivi numeri e simboli in lettere quando conta. Una battuta viene letta tutta d'un fiato, fino a 40 secondi di parlato.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Piattaforme

Sistema DownloadTestato
Linux x86-64 62.5 MBDoppiato con entrambi i modelli su una macchina vera, e in Subtitld stesso
macOS (Apple silicon) 43.7 MBIn CI, il componente aggiuntivo installato scarica un modello e doppia con esso (Apple Silicon)
Windows x86-64 38.7 MBIn CI, il componente aggiuntivo installato scarica un modello e doppia con esso

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica un modello e doppia con esso.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello: 1,3 GB per Multilingual, 725 MB per Turbo.
  • unsupported_languageLa lingua del progetto non è una delle 20, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale dei due.
  • out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi, o scegli Turbo per l'inglese: ha bisogno di circa 1 GB.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
Motore
MIT
Chatterbox, di Resemble AI; ONNX Runtime è MIT
Modello
MIT
Pesi Chatterbox Multilingual e Turbo, nelle loro esportazioni ONNX
Voci predefinite
Public domain, CC-BY-4.0
Lettori di LibriVox; quelle inglesi tramite LibriTTS-R

Adatto all'uso commerciale: il componente aggiuntivo è Apache-2.0, e Chatterbox ed entrambi i modelli sono MIT. Le voci predefinite sono registrazioni di LibriVox, di pubblico dominio; quelle inglesi arrivano tramite LibriTTS-R, con licenza CC-BY-4.0, e il componente aggiuntivo cita ciascuna. I doppiaggi che crei sono tuoi.

Versioni

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Altri componenti aggiuntivi Voci