F5-TTS (offline + voice clone)

Wat het doet

Stemmen

Kies in het tabblad Sprekers F5-TTS als Nasynchronisatie-engine van een spreker; de enige Stem is Custom voice. Elke regel komt zo lang uit als het model hem maakt; zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker de regel uitrekt of inkrimpt tot zijn ondertitel.

1 stem.

Het voorbeeld voor de kloon

Voor elke spreker snijdt Subtitld een voorbeeld uit de audio van het project:

• zijn langste ondertitel tussen 3 en 12 seconden;
• als er geen past, de eerste 12 seconden van een langere;
• als alle kortere zijn dan 3 seconden, meerdere achter elkaar, samengevoegd tot ze 3 seconden bereiken.

F5-TTS werkt het best met 6 tot 15 seconden, dus geef elke spreker minstens één regel van 6 tot 12 seconden. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Default voice reference in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden, bijvoorbeeld zonder geopende video.

Subtitld bewaart het voorbeeld van elke spreker en snijdt het alleen opnieuw wanneer het audiobestand verandert. Nadat u de regels van een spreker opnieuw hebt getimed, verwijdert u zijn voorbeeld om een nieuw te krijgen; de naam ervan eindigt op de naam van de spreker.

Modellen

Beide worden de eerste keer gedownload dat u een regel genereert: het F5-TTS-model, en de Vocos-vocoder die de uitvoer in geluid omzet. Whisper komt daar bovenop, de eerste keer dat F5-TTS een voorbeeld moet transcriberen.

Opties

De add-on leest deze wanneer hij start, dus een wijziging geldt zodra hij vijf minuten niet is gebruikt, of nadat u Subtitld opnieuw start. Skip auto-extracted reference transcript is de uitzondering: Subtitld leest die voor elke regel.

In Instellingen › Add-ons › F5-TTS (offline + voice clone) › Configureren.

Talen

F5-TTS neemt geen taal aan: het leest elke regel zoals hij geschreven is. Er bestaan modellen voor andere talen, maar deze add-on laadt ze niet.

• en
• zh-cn

Platforms

Elke release wordt gebouwd op Linux, macOS en Windows, en CI controleert dat het programma start en zijn stem opsomt. CI genereert geen spraak.

Problemen oplossen

• bad_paramsEr is niets om mee te werken: de ondertitel heeft geen tekst, of er is geen voorbeeld om te kopiëren. Subtitld kon er geen snijden (geen video open, of geen ondertitels voor die spreker) en er is geen standaardclip ingesteld, of het bestand van de standaardclip is verplaatst. Geef de ondertitel tekst, open de video, of stel Default voice reference in op een bestand dat bestaat.
• internalHet model kon niet laden of de regel niet uitspreken; het bericht zegt welke. Een mislukte download bij het eerste gebruik eindigt hier ook: controleer uw verbinding en de vrije schijfruimte, en probeer het opnieuw. Als het bericht ffmpeg noemt, installeer dan ffmpeg zodat het op uw PATH staat; F5-TTS heeft het nodig om het voorbeeld te lezen.

Licentie

Niet voor commercieel werk: de CC-BY-NC-4.0-licentie van de gewichten verbiedt het, ook al is de code van de add-on MIT.