Kloont de stem van elke spreker uit een paar seconden van de video en spreekt uw ondertitels in 16 talen, op uw eigen computer. Het model is alleen vrij voor niet-commercieel gebruik.

Wat het doet

Klonen uit de video

Kies Custom voice en Subtitld geeft het model een paar seconden van die spreker, uit de video gesneden. Het werkt het best met 6 seconden of meer.

Twee ingebouwde stemmen

XTTS female 1 en XTTS male 1, voor sprekers die u niet kloont.

16 talen

Het spreekt in de taal van het project, of in het Engels wanneer het project geen taal heeft.

Eén keer laden

De eerste regel wacht tot het model is geladen, en de eerste keer ook tot het is gedownload; de rest hergebruikt het. Op de CPU kan een lange zin een halve minuut duren.

Niet-commercieel model. De XTTS-v2-gewichten vallen onder de Coqui Public Model License (CPML): vrij voor niet-commercieel gebruik, en voor alles anders is een betaalde licentie van Coqui nodig. De add-on gaat voor u akkoord met de voorwaarden van Coqui wanneer hij het model laadt, dus u ziet dat niet; de voorwaarden gelden toch.

Stemmen

Kies in het tabblad Sprekers Coqui XTTS als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Custom voice staat bovenaan de lijst. Elke regel komt zo lang uit als het model hem maakt; zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker de regel uitrekt of inkrimpt tot zijn ondertitel.

3 stemmen in 1 taal.

en 2

Het voorbeeld voor de kloon

Wanneer de stem van een spreker Custom voice is, snijdt Subtitld een voorbeeld van die spreker uit de audio van het project:

zijn langste ondertitel tussen 3 en 12 seconden;
als er geen past, de eerste 12 seconden van een langere;
als alle kortere zijn dan 3 seconden, meerdere achter elkaar, samengevoegd tot ze 3 seconden bereiken.

XTTS werkt het best met 6 seconden of meer, dus geef elke spreker minstens één regel van 6 tot 12 seconden. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Default voice reference in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden, bijvoorbeeld zonder geopende video.

Subtitld bewaart het voorbeeld van elke spreker en snijdt het alleen opnieuw wanneer het audiobestand verandert. Nadat u de regels van een spreker opnieuw hebt getimed, verwijdert u zijn voorbeeld om een nieuw te krijgen; de naam ervan eindigt op de naam van de spreker.

Systeem	Map
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

Modellen

Eén model, gedownload de eerste keer dat u een regel genereert; de twee kleine bestanden ernaast zijn de instellingen en de woordenlijst ervan. De add-on houdt het geladen tot het vijf minuten niet is gebruikt.

Model	Download
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

Opties

De add-on leest deze wanneer hij start, dus een wijziging geldt zodra hij vijf minuten niet is gebruikt, of nadat u Subtitld opnieuw start.

In Instellingen › Add-ons › Coqui XTTS-v2 (offline + voice clone) › Configureren.

Inference device

Standaard: cpu

Laat dit op CPU staan. De uitgebrachte builds zijn gemaakt met het CPU-pakket van PyTorch, dus CUDA werkt er niet mee; MPS staat als bèta gemarkeerd.

Default voice reference (6+ seconds, mono WAV recommended)

Standaard: leeg

Een clip om te kopiëren wanneer Subtitld geen voorbeeld van de spreker uit de video kan nemen, bijvoorbeeld zonder geopende video. Een voorbeeld uit de video komt altijd eerst. Zolang dit is ingesteld, kopiëren de twee ingebouwde stemmen ook deze clip.

Talen

De add-on geeft de taal van het project zonder regio door aan het model; zonder ingestelde taal spreekt het Engels.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

Platforms

Systeem	Download	Getest
Linux x86-64	442.7 MB	Gebouwd en gestart in CI
macOS (universeel)	323.1 MB	Gebouwd en gestart in CI
Windows x86-64	302.2 MB	Gebouwd en gestart in CI

Elke release wordt gebouwd op Linux, macOS en Windows, en CI controleert dat het programma start en zijn stemmen opsomt. CI genereert geen spraak.

Problemen oplossen

bad_paramsOfwel heeft de ondertitel geen tekst, ofwel heeft de kloon geen voorbeeld: Subtitld kon er geen snijden (geen video open, of geen ondertitels voor die spreker) en er is geen standaardclip ingesteld. Geef de ondertitel tekst, open de video, of stel Default voice reference in.
internalHet model kon niet laden of de regel niet uitspreken; het bericht zegt welke. Een mislukte download bij het eerste gebruik eindigt hier ook: controleer uw verbinding en de vrije schijfruimte, en probeer het opnieuw. Controleer ook of de taal van het project een van de hierboven genoemde talen is.

Licentie

Add-on

MIT

Engine

MPL-2.0

coqui-ai-TTS (idiap fork)

Modellen

CPML

XTTS-v2-gewichten; niet-commercieel zonder licentie van Coqui

Niet voor commercieel werk, tenzij u een commerciële licentie van Coqui heeft voor de XTTS-v2-gewichten. De eigen code van de add-on is MIT.

Coqui XTTS (offline + voice clone)

Wat het doet

Stemmen

Het voorbeeld voor de kloon

Modellen

Opties

Talen

Platforms

Problemen oplossen

Licentie

Versies

Andere add-ons voor Stemmen