Reverb offline, clonazione vocale, 7 lingue, non commerciale

VociOfflineSolo CPUClonazione vocaleNon commerciale

Doppia i tuoi sottotitoli in inglese, tedesco, francese, spagnolo, italiano, polacco e portoghese con Reverb-TTS, di Software Mansion AI Labs, con una di 16 voci o con la voce di ogni parlante, clonata da pochi secondi del video e dai suoi sottotitoli. Gira sul processore del tuo computer, senza scheda grafica. Il modello è solo per uso non commerciale.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi Reverb (offline, voice clone, 7 languages, non-commercial) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
7
Modelli
3
Voci
17
Download del componente
40–65 MB
RAM, almeno
2.5 GB

Cosa fa

Sette lingue

Inglese, tedesco, francese, spagnolo, italiano, polacco e portoghese. Numeri, date, prezzi e unità vengono letti come parole, nel modo proprio di ciascuna lingua.

La voce del parlante

Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con i sottotitoli pronunciati in quei secondi. Reverb clona quella voce in una qualsiasi delle sue sette lingue. Oppure scegli una di 16 voci.

Exact o Fast

Exact esegue il modello così come è stato pubblicato. Fast è circa due volte più veloce e un download più piccolo, al prezzo di un po' di precisione.

Offline dopo la prima battuta

Il modello si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.

Modello non commerciale. I pesi Reverb-TTS e le sue voci predefinite sono sotto CC-BY-NC-4.0, che non consente l'uso commerciale. Il codice del componente aggiuntivo è Apache-2.0, ma questo non cambia le condizioni dei pesi. Per il lavoro commerciale, anche ZONOS3-Mini clona le voci in tutte e sette queste lingue, e i suoi pesi sono Apache-2.0.

Prima di installare

  • Disco: 640 MB per il modello, scaricato alla prima battuta; 378 MB invece se scegli Fast prima della prima battuta. La prima volta che usi la voce di un parlante, 327 MB in più.
  • Memoria: circa 1,5 GB mentre parla.
  • Tempo: su un Intel Core i7-13700T impegnato in altro lavoro, un secondo di parlato richiedeva circa 0,8 secondi per essere generato in velocità Exact e circa 0,6 secondi in Fast.
  • Processore: un processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.

Voci

Nella scheda Parlanti, scegli Reverb come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

17 voci.

Registrata in Donne Uomini
Inglese Narratrice, sussurrata Narratore 1, narratore 2, arrabbiato
Francese Donna francese Uomo francese
Tedesco Donna tedesca Uomo tedesco
Italiano Uomo italiano, uomo italiano espressivo
Polacco Uomo polacco
Portoghese Donna portoghese Uomo portoghese
Spagnolo Uomo spagnolo 1, uomo spagnolo 2

Queste sono le voci predefinite di Reverb stesso. Ogni voce parla ogni lingua, ma con l'accento della lingua in cui è stata registrata. Per una lingua che qui non ha una voce propria, o non ha una voce femminile, usa la voce del parlante.

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti, e invia ciò che vi viene detto: il testo di quei sottotitoli. Reverb ha bisogno di entrambi. Prosegue dal campione e dalle sue parole, e senza le parole perderebbe le prime parole di ogni battuta.

Quindi i sottotitoli devono essere nella lingua parlata nel video. Se li hai tradotti, Subtitld invia il testo originale, purché sappia in che lingua è l'audio: impostala in Lingua dei sottotitoli nel pannello Trascrizione. Altrimenti la battuta si ferma con un messaggio che lo dice. Sottotitoli che parafrasano ciò che viene detto, invece di trascriverlo, peggiorano il clone.

Il campione migliore è di 3-10 secondi di una sola persona che parla, pulito e vicino al microfono. Un campione più corto di 2 secondi viene rifiutato, e uno più lungo di 15 secondi tende a dare battute peggiori. La Fallback reference clip nelle impostazioni del componente aggiuntivo, con il suo Fallback clip's transcript, si usa solo quando non si riesce a ritagliare nessun campione.

Ogni battuta viene generata con il seed che invia Subtitld, così la stessa battuta con la stessa voce esce uguale ogni volta.

Modelli

Il modello non è dentro il componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che una battuta ne ha bisogno, dalla release del componente aggiuntivo stesso su GitHub, dove i pesi di Reverb sono conservati convertiti per ONNX Runtime, ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo lo conserva.

Modello DownloadAdatto a
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Predefinito reverb
640 MB
Ogni battuta in velocità Exact, quella predefinita: la rete, il decoder e le 16 voci
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Ogni battuta in velocità Fast, al posto della rete Exact: 378 MB in tutto con il decoder
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
La voce del parlante, la prima volta che ne doppi una

Exact e Fast condividono il decoder e le voci (111 MB): cambia solo la rete, 529 MB per Exact e 266 MB per Fast. Passando in seguito dall'una all'altra, l'altra rete si scarica la prima volta che una battuta ne ha bisogno.

Il componente aggiuntivo esegue Reverb su ONNX Runtime, senza PyTorch. Il campionatore e la preparazione del testo di Reverb sono portati dal codice di Software Mansion stessa. I suoi numeri casuali vengono da un'altra fonte, quindi un seed qui dà una ripresa diversa rispetto al pacchetto di Reverb stesso; si verifica che la rete Exact preveda ciò che prevede quel pacchetto.

Opzioni

In Impostazioni › Componenti aggiuntivi › Reverb (offline, voice clone, 7 languages, non-commercial) › Configuri.

CPU threads
Predefinito: 0

0 usa i processori logici del computer, al massimo 8. Di più raramente è più veloce; di meno lasciano il computer più reattivo mentre doppia.

Quality steps
Predefinito: 8

Quanti passaggi fa il modello su ogni battuta. 8 è l'impostazione di Reverb stesso; di meno è più veloce, con più inciampi.

Speed
Predefinito: exact

Exact esegue il modello come lo ha pubblicato Software Mansion. Fast lo esegue in interi a 8 bit, circa due volte più veloce, con un proprio download di 266 MB: le sue battute di solito suonano uguali, ma si allontana di più dal modello pubblicato e inciampa più spesso.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza un video aperto: da 3 a 10 secondi di una sola persona che parla, pulita.

Fallback clip's transcript
Predefinito: vuoto

Esattamente ciò che viene detto nella clip di riserva, parola per parola. Reverb clona dalla clip e dalle sue parole, quindi senza di esse la clip di riserva viene rifiutata.

Lingue

Inglese, tedesco, francese, spagnolo, italiano, polacco e portoghese. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Piattaforme

Sistema DownloadTestato
Linux x86-64 64.9 MBHa parlato tutte e sette le lingue e clonato una voce con il modello vero in CI
macOS (Apple silicon) 45.6 MBHa parlato tutte e sette le lingue e clonato una voce con il modello vero in CI (Apple Silicon)
Windows x86-64 40.5 MBHa parlato tutte e sette le lingue e clonato una voce con il modello vero in CI

Linux x86-64 (glibc 2.35 o successiva, come in Ubuntu 22.04, Debian 12 o Fedora 36), macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello, pronuncia una battuta in ogni lingua e clona una voce.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello: 640 MB (378 MB in Fast), e 327 MB in più per la voce del parlante.
  • unsupported_languageLa lingua del progetto non è una delle sette, o non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione o nessuna sua trascrizione. Per un progetto tradotto, imposta Lingua dei sottotitoli sulla lingua parlata; senza un video aperto, imposta una Fallback reference clip e la sua trascrizione. Il messaggio dice quale.
  • out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: Reverb ha bisogno di circa 1,5 GB liberi.
  • internalQualcosa non ha funzionato dentro il componente aggiuntivo; il messaggio contiene i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
con il codice di Reverb stesso, portato su numpy
Motore
MIT
ONNX Runtime
Modello
CC-BY-NC-4.0
Pesi Reverb-TTS v1.0.0, di Software Mansion AI Labs; solo non commerciale
Voci
CC-BY-NC-4.0
Le 16 voci predefinite di Reverb; solo non commerciale
Lettura del testo
MIT, Unicode-3.0
Verbalis, di Software Mansion, con una tabella dalla Unicode Character Database

Il componente aggiuntivo è Apache-2.0, e lo è anche il codice di Reverb che porta. I pesi Reverb-TTS e le sue 16 voci predefinite sono CC-BY-NC-4.0: solo uso non commerciale. Un file di licenza fornito con il modello indica cosa è stato cambiato nel convertirlo. ONNX Runtime è MIT, e Verbalis, che legge numeri e date, è MIT.

Usalo in modo responsabile. Una voce clonata suona come una persona reale. Clona solo voci che hai il diritto di usare, con il consenso del parlante; non impersonare persone reali, e non usare il parlato che generi per ingannare, truffare o molestare. Di' ai tuoi ascoltatori quando sentono una voce sintetica.

Versioni

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Altri componenti aggiuntivi Voci