Scarica

Coqui XTTS (offline + voice clone)

VociOfflineGPU facoltativaClonazione vocaleNon commerciale

Clona la voce di ciascun parlante da alcuni secondi del video e parla i suoi sottotitoli in 16 lingue, sul suo computer. Il modello è gratuito solo per uso non commerciale.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi Coqui XTTS-v2 (offline + voice clone) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
16
Modelli
3
Voci
3
Download del componente
302–443 MB
RAM, almeno
6 GB

Cosa fa

Clonazione dal video

Scelga Custom voice e Subtitld fornisce al modello alcuni secondi di quel parlante, tagliati dal video. Funziona meglio con 6 secondi o più.

Due voci integrate

XTTS female 1 e XTTS male 1, per i parlanti che non clona.

16 lingue

Parla nella lingua del progetto, oppure in inglese quando il progetto non ne ha una impostata.

Si carica una volta

La prima battuta attende che il modello si carichi, e la prima volta anche che si scarichi; le altre lo riutilizzano. Sulla CPU una frase lunga può richiedere mezzo minuto.

Modello non commerciale. I pesi XTTS-v2 sono sotto la Coqui Public Model License (CPML): gratuiti per uso non commerciale, con una licenza a pagamento di Coqui necessaria per qualsiasi altro uso. Il componente accetta per lei le condizioni di Coqui quando carica il modello, quindi non le vedrà; le condizioni valgono comunque.

Voci

Nella scheda Parlanti, scelga Coqui XTTS come Motore di doppiaggio di un parlante, poi scelga una Voce. Custom voice è in cima all'elenco. Ogni battuta esce della durata che il modello le dà; attivi Adatta il doppiaggio alla durata del sottotitolo perché il parlante la allunghi o la comprima fino al suo sottotitolo.

3 voci in 1 lingua.

  • en 2

Il campione per il clone

Quando la voce di un parlante è Custom voice, Subtitld taglia un campione di quel parlante dall'audio del progetto:

  • il suo sottotitolo più lungo tra 3 e 12 secondi;
  • se nessuno rientra, i primi 12 secondi di uno più lungo;
  • se tutti sono più corti di 3 secondi, più di seguito, uniti fino a raggiungere 3.

XTTS funziona meglio con 6 secondi o più, quindi dia a ogni parlante almeno una battuta tra 6 e 12 secondi. Se per questo video ha separato la musica dal parlato, il campione proviene solo dalla voce. Default voice reference nelle impostazioni del componente viene usato solo quando non si può tagliare alcun campione, per esempio senza video aperto.

Subtitld conserva il campione di ogni parlante e lo ritaglia di nuovo solo se il file audio cambia. Dopo aver risincronizzato le battute di un parlante, elimini il suo campione per ottenerne uno nuovo; il suo nome termina con il nome del parlante.

Sistema Cartella
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Modelli

Un unico modello, scaricato la prima volta che genera una battuta; i due file piccoli accanto sono le sue impostazioni e il suo vocabolario. Il componente lo tiene caricato finché non è stato inattivo per cinque minuti.

Modello Download
xtts_v2
1.9 GB
xtts_v2_config
1 MB
xtts_v2_vocab
1 MB

Opzioni

Il componente legge queste impostazioni all'avvio, quindi una modifica si applica dopo cinque minuti senza uso, oppure dopo aver riavviato Subtitld.

In Impostazioni › Componenti aggiuntivi › Coqui XTTS-v2 (offline + voice clone) › Configuri.

Inference device
Predefinito: cpu

Lasci CPU. Le build rilasciate sono compilate con il pacchetto CPU di PyTorch, quindi CUDA non funziona con esse; MPS è segnato come beta.

Default voice reference (6+ seconds, mono WAV recommended)
Predefinito: vuoto

Una clip da copiare quando Subtitld non riesce a prelevare un campione del parlante dal video, per esempio senza video aperto. Un campione dal video ha sempre la precedenza. Quando questo è impostato, le due voci integrate copiano anche questa clip.

Lingue

Il componente passa al modello la lingua del progetto, senza la sua regione; senza una lingua impostata, parla inglese.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • pl
  • tr
  • ru
  • nl
  • cs
  • ar
  • zh-cn
  • ja
  • hu
  • ko

Piattaforme

Sistema DownloadTestato
Linux x86-64 442.7 MBCompilato e avviato in CI
macOS (universale) 323.1 MBCompilato e avviato in CI
Windows x86-64 302.2 MBCompilato e avviato in CI

Ogni rilascio è compilato su Linux, macOS e Windows, e la CI verifica che il programma si avvii ed elenchi le sue voci. La CI non genera il parlato.

Risoluzione dei problemi

  • bad_paramsIl sottotitolo non ha testo, oppure il clone non ha ricevuto un campione: Subtitld non è riuscito a tagliarne uno (nessun video aperto, o nessun sottotitolo per quel parlante) e non è impostata alcuna clip predefinita. Dia testo al sottotitolo, apra il video, oppure imposti Default voice reference.
  • internalIl modello non si è caricato o non è riuscito a pronunciare la battuta; il messaggio indica quale. Anche un download fallito al primo uso finisce qui: controlli la connessione e lo spazio libero su disco, poi riprovi. Verifichi anche che la lingua del progetto sia una di quelle elencate sopra.

Licenza

Componente aggiuntivo
MIT
Motore
MPL-2.0
coqui-ai-TTS (fork idiap)
Modelli
CPML
Pesi XTTS-v2; non commerciale senza una licenza Coqui

Non per uso commerciale, a meno di avere una licenza commerciale di Coqui per i pesi XTTS-v2. Il codice proprio del componente è MIT.

Versioni

  • 1.0.7

    Automated release for coqui-xtts v1.0.7.

Altri componenti aggiuntivi Voci

Aggiornato · Dal catalogo dei componenti aggiuntivi Segnali un problema con questo componente aggiuntivo