Spreekt uw ondertitels in 30 talen in met VoxCPM2 van OpenBMB, in de eigen stem van elke spreker, gekloond uit de video, of in een stem gemaakt uit een beschrijving. Het draait op uw eigen computer, en de add-on, de code en de gewichten zijn allemaal Apache-2.0.

Wat het doet

De eigen stem van de spreker

Subtitld snijdt een clip van elke spreker uit de video en stuurt die mee met de woorden die erin worden gesproken. VoxCPM2 gaat verder vanaf die clip, zodat de dub klinkt als de persoon in beeld, in elk van de 30 talen.

Of een stem die u beschrijft

Zeven kant-en-klare stemmen, van een warme vrouwenstem tot een rauwe oudere man en een verteller, of uw eigen woorden: "a young man, fast and cheerful".

Studiogeluid

De spraak komt eruit op 48 kHz, de frequentie die video gebruikt.

Vrij voor commercieel werk

De add-on, de code van VoxCPM en de VoxCPM2-gewichten zijn allemaal Apache-2.0.

Voordat u installeert

VoxCPM2 is een groot model, met 2,4 miljard parameters. Het geeft de natuurlijkste dubs van de offline add-ons, en vraagt het meest van uw computer:

Schijf: ongeveer 5,6 GB, vooral het model van 4,96 GB, gedownload bij de eerste regel die u nasynchroniseert.
Geheugen: ongeveer 7 GB vrij. Met minder werkt het nog, maar veel langzamer.
Tijd: op een CPU kost elke seconde spraak meerdere seconden: 5 tot 6 seconden op een Intel Core i7-13700T. Een video van tien minuten kan ongeveer een uur duren. Op een Mac met Apple Silicon draait het op de GPU.

Voor snelle dubs op bescheiden computers zijn Piper of Kokoro veel lichter.

Stemmen

Kies in het tabblad Sprekers VoxCPM2 als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

9 stemmen.

De gekloonde stem

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels van 3 tot 12 seconden, of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Subtitld stuurt de ondertiteltekst mee met het voorbeeld, en VoxCPM2 gaat erop verder. Zo komt het het dichtst bij de spreker, voordracht inbegrepen. Als een dub in een andere taal het accent van de spreker houdt, zet dan Clone the timbre only aan.

Beschreven stemmen

VoxCPM2 verzint elke keer dat het een beschrijving leest een nieuwe stem. Daarom maakt de add-on de stem van elke spreker één keer, en elke regel van die spreker gebruikt hem opnieuw: de stem blijft gelijk door de hele video, en twee sprekers met dezelfde beschrijving klinken toch als twee mensen.

Modellen

Er is één model, VoxCPM2. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

Model	Download	Geschikt voor
VoxCPM2 (2.4B) Standaard voxcpm2	4.7 GB	Elke stem, in alle 30 talen

De eerste regel laadt ook het model, dus die duurt langer dan de volgende. Annuleren stopt een regel tussen twee stappen, of stopt de download.

Opties

In Instellingen › Add-ons › VoxCPM2 (offline, voice clone, 30 languages) › Configureren.

Inference device

Standaard: auto

Automatisch gebruikt de GPU van een Mac met Apple Silicon, anders de CPU. Deze build gebruikt geen NVIDIA-videokaarten.

Weight precision

Standaard: auto

Automatisch past bij bijna elke computer. float32 is iets sneller, maar heeft ongeveer 11 GB geheugen nodig.

Quality steps

Standaard: 10

Meer stappen, duidelijkere spraak, langzamer. 5 is ongeveer een kwart sneller dan 10, en hoorbaar minder helder.

Guidance

Standaard: 2

How closely the speech follows the text and the voice. VoxCPM's default is 2.0.

CPU threads

Standaard: 0

Bij 0 worden de prestatiekernen gekozen op CPU's die ook efficiëntiekernen hebben. Minder threads houden de computer vlotter terwijl hij nasynchroniseert.

Voice description

Standaard: leeg

Gebruikt door de stem "Voice you describe": wie er spreekt en hoe, in een paar woorden, bijvoorbeeld "An elderly woman, soft and warm voice, slow pace". Engels werkt voor elke taal.

Fallback reference clip

Standaard: leeg

Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 3 tot 15 seconden van één persoon die spreekt.

Fallback reference transcript

Standaard: leeg

De exacte woorden die in de clip hierboven worden gesproken. Daarmee komt de kloon dichter bij de spreker.

Clone the timbre only

Standaard: uit

Kloont alleen het geluid van de stem, niet de voordracht van de clip. Probeer het als een dub in een andere taal het accent van de spreker houdt, of als uw ondertitels parafraseren wat er gezegd wordt.

Talen

Arabisch, Birmaans, Chinees, Deens, Duits, Engels, Fins, Frans, Grieks, Hebreeuws, Hindi, Indonesisch, Italiaans, Japans, Khmer, Koreaans, Laotiaans, Maleis, Nederlands, Noors, Pools, Portugees, Russisch, Spaans, Swahili, Tagalog, Thai, Turks, Vietnamees en Zweeds. VoxCPM2 leest de taal uit de tekst zelf, dus elke stem spreekt elke taal.

ar
my
zh
da
nl
en
fi
fr
de
el
he
hi
id
it
ja
km
ko
lo
ms
no
pl
pt
ru
es
sw
sv
tl
th
tr
vi

Platforms

Systeem	Download	Getest
Linux x86-64	312.0 MB	Nagesynchroniseerd met het echte model op een echte computer; gebouwd en gecontroleerd in CI
macOS (Apple silicon)	318.0 MB	Gebouwd en gecontroleerd in CI (Apple Silicon)
Windows x86-64	204.6 MB	Gebouwd en gecontroleerd in CI

Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en CI controleert dat alles wat nodig is om te spreken in de build zit. CI draait het model zelf niet.

Problemen oplossen

network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
disk_fullNiet genoeg schijfruimte voor het model. Het heeft ongeveer 5 GB vrij nodig.
oomOnvoldoende geheugen. Sluit andere programma's; VoxCPM2 heeft ongeveer 7 GB vrij nodig, 11 GB in float32.
bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.
unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
internalEr ging iets mis in de add-on; het bericht bevat de details. Als u Inference device hebt gewijzigd, zet het dan terug op Automatisch.

Licentie

Add-on

Apache-2.0

Engine

Apache-2.0

VoxCPM, van OpenBMB

Model

Apache-2.0

VoxCPM2-gewichten

Geschikt voor commercieel werk: de add-on, VoxCPM en de VoxCPM2-gewichten zijn allemaal Apache-2.0. De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon alleen stemmen die u mag gebruiken, en vermeld waar het ertoe doet dat een dub synthetisch is.

VoxCPM2 (offline, voice clone, 30 languages)

Wat het doet

Voordat u installeert

Stemmen

De gekloonde stem

Beschreven stemmen

Modellen

Opties

Talen

Platforms

Problemen oplossen

Licentie

Versies

Andere add-ons voor Stemmen