Sopro (offline, voice clone, 4 languages)

VociOfflineSolo CPUClonazione vocaleUso commerciale consentito

Doppia i tuoi sottotitoli in inglese, portoghese europeo, francese e tedesco con Sopro V2 Turbo, con la voce di ogni parlante clonata da pochi secondi del video, oppure con una di 8 voci predefinite. Funziona sul processore del tuo computer, circa due volte più veloce del tempo reale, senza scheda grafica.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi Sopro (offline, voice clone, 4 languages) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
4
Modelli
1
Voci
9
Download del componente
38–61 MB
RAM, almeno
1.5 GB

Cosa fa

La voce del parlante

Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con ogni battuta. Sopro clona quella voce, così il doppiaggio suona come la persona sullo schermo, in una qualsiasi delle sue quattro lingue.

Veloce su qualsiasi computer

Sopro V2 Turbo è un modello piccolo, da 120 milioni di parametri. Sul processore di un portatile parla circa due volte più veloce del tempo reale, con circa 1 GB di memoria.

Offline dopo la prima battuta

Il modello si scarica una volta sola, la prima volta che doppi con esso. Da lì in poi, niente esce dal tuo computer.

Libero per uso commerciale

Il componente aggiuntivo, Sopro e il suo modello sono Apache-2.0. Le voci predefinite sono lettori di LibriVox, le cui registrazioni sono di pubblico dominio.

Prima di installare

Sopro chiede poco al tuo computer:

  • Disco: circa 340 MB per il modello, scaricato alla prima battuta.
  • Memoria: circa 1 GB mentre parla.
  • Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.

Clona una voce solo con il consenso della persona a cui appartiene. L'autore di Sopro chiede che non venga mai usato per spacciarsi per qualcun altro.

Voci

Nella scheda Parlanti, scegli Sopro come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

9 voci.

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione. Il campione migliore è di 5-20 secondi del parlante da solo, senza musica né altre voci.

Voci predefinite
Donne Inglese, portoghese, francese, tedesco
Uomini Inglese, portoghese, francese, tedesco

Ogni voce predefinita è un volontario di LibriVox che legge un libro in quella lingua. Ogni voce predefinita parla tutte e quattro le lingue; la sua lingua le dà solo un accento, quindi scegline una della lingua del tuo progetto per il doppiaggio più naturale.

Modelli

Sopro ha un solo modello per tutte e quattro le lingue. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

Modello DownloadAdatto a
Sopro V2 Turbo (120M, ONNX) Predefinito sopro-v2-turbo
336 MB
Tutte le voci, in tutte e quattro le lingue, circa 2,5× il tempo reale

Il componente aggiuntivo esegue la build ONNX di Sopro pubblicata dal suo autore, senza PyTorch. L'abbiamo confrontata con la build PyTorch ufficiale sulle stesse battute in tutte e quattro le lingue: non ha fatto più errori e somigliava al parlante altrettanto.

Opzioni

In Impostazioni › Componenti aggiuntivi › Sopro (offline, voice clone, 4 languages) › Configuri.

CPU threads
Predefinito: 0

0 usa metà dei processori logici del computer, al massimo 8. Meno thread lasciano il computer più reattivo durante il doppiaggio.

Variation
Predefinito: 0.8

Più basso è più stabile e piatto, più alto è più vivace ma sbaglia più spesso. 0,8 è il valore predefinito di Sopro stesso.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 5 a 20 secondi di una persona che parla.

Lingue

Inglese, portoghese europeo, francese e tedesco. Legge anche testi in portoghese brasiliano, con accento europeo. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

Scrivi numeri e simboli in lettere quando conta: Sopro legge "1 + 2" in modo meno affidabile di "one plus two". Una parola di un'altra lingua dentro una frase può essere pronunciata male.

  • en
  • pt
  • fr
  • de

Piattaforme

Sistema DownloadTestato
Linux x86-64 61.1 MBDoppiato con il modello vero su una macchina vera e in CI
macOS (Apple silicon) 43.2 MBDoppiato con il modello vero in CI (Apple Silicon)
Windows x86-64 38.1 MBDoppiato con il modello vero in CI

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello e doppia con esso.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello, circa 340 MB.
  • unsupported_languageLa lingua del progetto non è una delle quattro, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale dei due.
  • out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: Sopro ha bisogno di circa 1 GB.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
Motore
Apache-2.0
Sopro, di Samuel Vitorino; ONNX Runtime è MIT
Modello
Apache-2.0
Pesi Sopro V2 Turbo
Voci predefinite
Public domain, CC-BY-4.0
Lettori di LibriVox; quelle inglesi tramite LibriTTS-R

Adatto all'uso commerciale: il componente aggiuntivo, Sopro e il modello Sopro V2 Turbo sono Apache-2.0. Le voci predefinite sono registrazioni di LibriVox, di pubblico dominio; quelle inglesi arrivano tramite LibriTTS-R, con licenza CC-BY-4.0, e il componente aggiuntivo cita ciascuna. I doppiaggi che crei sono tuoi.

Versioni

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Altri componenti aggiuntivi Voci