VoxMel offline, stemklonen, 2 talen

StemmenOfflineGPU optioneelStemkloningCommercieel gebruik toegestaan

Spreekt uw ondertitels in het Engels en Mandarijn in met VoxMel van VoxDance Lab, in de eigen stem van elke spreker, nauwkeurig gekloond uit de video en de ondertitels daarvan, of in een van acht vooraf ingestelde stemmen. Het draait op uw eigen computer, en de add-on, het model en de stemmen zijn allemaal Apache-2.0.

Installeer hem vanuit Subtitld

Instellingen Add-ons VoxMel (offline, voice clone, 2 languages) Installeren

Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.

Broncode op GitHub
Talen
2
Modellen
1
Stemmen
9
Download van de add-on
15–19 MB
RAM, minimaal
2 GB

Beluisteren

Wat het doet

Nauwkeurige klonen

Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met de ondertitels die erin worden uitgesproken. VoxMel kloont die stem nauwkeurig, in het Engels of Mandarijn.

Acht vooraf ingestelde stemmen

Twee vrouwen en twee mannen voor elke taal, voor sprekers die u niet wilt klonen. VoxMel heeft ze zelf gemaakt: er is geen stem van een echt persoon voor opgenomen.

Snel voor een kloonmodel

Een gekloonde regel kost twee tot vier seconden per seconde spraak op een recente laptopprocessor.

Vrij voor commercieel werk

De add-on, de audio.cpp-engine, de VoxMel-gewichten en de vooraf ingestelde stemmen zijn allemaal Apache-2.0.

Voordat u installeert

  • Schijf: ongeveer 1,2 GB, vooral het model van 1,04 GB, gedownload bij de eerste regel die u nasynchroniseert.
  • Geheugen: ongeveer 2 GB vrij.
  • Tijd: op een Intel Core i7-13700T kostte een regel in de eigen stem van de spreker twee tot vier seconden per seconde spraak. Op een Mac met Apple Silicon draait het op de GPU.
  • Talen: alleen Engels en Mandarijn. Voor andere talen kloont VoxCPM2 stemmen in 30 talen en OmniVoice in 646.

Stemmen

Kies in het tabblad Sprekers VoxMel als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel: VoxMel zelf kan het tempo niet regelen.

9 stemmen in 2 talen.

  • en 4
  • zh 4

De gekloonde stem

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels van 3 tot 12 seconden, of uit meerdere korte, samengevoegd, en stuurt de ondertiteltekst mee. VoxMel heeft zowel het voorbeeld als de woorden ervan nodig. Fallback reference clip in de instellingen van de add-on, met de transcriptie ervan, wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

VoxMel kloont het best binnen één taal. Een Engelse dub van een spreker die Mandarijn spreekt werkt goed; een dub in het Mandarijn van een Engelstalige spreker kan sommige woorden onduidelijk uitspreken.

Clone the timbre only werkt niet met deze add-on, omdat VoxMel niet kan klonen zonder de woorden van het voorbeeld. Laat het uit voor sprekers die VoxMel gebruiken.

Vooraf ingestelde stemmen

Elke vooraf ingestelde stem is een korte clip die VoxMel zonder enige referentieopname heeft gemaakt, bewaard met de precieze woorden ervan. Elke regel van een spreker met zo'n stem kloont die clip, zodat de stem gelijk blijft door de hele video. Engelse stemmen passen bij Engelse regels, en stemmen in het Mandarijn bij regels in het Mandarijn.

Modellen

Er is één model, VoxMel 0.6B met zijn Vocos-vocoder, met zijn gewichten opgeslagen in 8 bits, zoals het audio.cpp-project het heeft omgezet. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, en wordt gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

Model DownloadGeschikt voor
VoxMel 0.6B (8-bit) Standaard voxmel
992 MB
Elke stem, in het Engels en Mandarijn

De eerste regel laadt ook het model, dus die duurt langer dan de volgende. Op een Mac met Apple Silicon spreekt de add-on de allereerste keer ook één korte testregel op de GPU, en gebruikt hij de CPU als dat niet werkt. Annuleren stopt een regel tussen twee stappen, of stopt de download.

Opties

In Instellingen › Add-ons › VoxMel (offline, voice clone, 2 languages) › Configureren.

Quality steps
Standaard: 32

Hoe fijn VoxMel elk moment van spraak tekent. 32 is de eigen instelling van VoxMel; minder is sneller, met minder detail.

Text guidance
Standaard: 3.5

Hoe nauw de spraak de tekst volgt. 3,5 is de eigen instelling van VoxMel.

Voice guidance
Standaard: 3

Hoe nauw een gekloonde stem de clip volgt. 3,0 is de eigen instelling van VoxMel; hoger kan er dichter bij komen, of geforceerd klinken.

CPU threads
Standaard: 0

Bij 0 worden de prestatiekernen gekozen op CPU's die ook efficiëntiekernen hebben. Minder threads houden de computer vlotter terwijl hij nasynchroniseert.

Fallback reference clip
Standaard: leeg

Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 3 tot 15 seconden van één persoon die spreekt.

Fallback reference transcript
Standaard: leeg

Precies wat er in de reserveclip wordt gezegd, woord voor woord. VoxMel kloont uit de clip en de woorden ervan, dus zonder dit wordt de reserveclip geweigerd.

Talen

Engels en Mandarijn Chinees. VoxMel haalt de taal uit de tekst.

  • en
  • zh

Platforms

Systeem DownloadGetest
Linux x86-64 18.8 MBNagesynchroniseerd met het echte model op een echte computer en op AlmaLinux 8; in CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel
macOS (Apple silicon) 18.1 MBIn CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel (Apple Silicon)
Windows x86-64 15.4 MBIn CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel

Linux x86-64 (elke distributie vanaf 2018, glibc 2.28 of nieuwer), macOS 13.3 of nieuwer op Apple Silicon, en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on, downloadt het model en laat het spreken, een stem klonen en een regel annuleren.

Problemen oplossen

  • network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
  • disk_fullNiet genoeg schijfruimte voor het model. Het heeft ongeveer 1,2 GB vrij nodig.
  • oomOnvoldoende geheugen. Sluit andere programma's; VoxMel heeft ongeveer 2 GB vrij nodig.
  • bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld of geen woorden erbij. Het bericht zegt welke. Open voor een gekloonde stem de video en laat Clone the timbre only uit.
  • unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
  • internalEr ging iets mis in de add-on; het bericht bevat de details.

Licentie

Add-on
Apache-2.0
met de acht vooraf ingestelde stemmen
Engine
Apache-2.0
audio.cpp, met ggml (MIT)
Model
Apache-2.0
VoxMel 0.6B-gewichten, van VoxDance Lab; Vocos-vocoder MIT

Geschikt voor commercieel werk: de add-on, de vooraf ingestelde stemmen, de audio.cpp-engine en de VoxMel-gewichten zijn allemaal Apache-2.0, en de Vocos-vocoder en ggml zijn MIT. De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon alleen stemmen die u mag gebruiken, en vermeld waar het ertoe doet dat een dub synthetisch is.

Versies

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Andere add-ons voor Stemmen