Audio8 TTS (offline, voice clone, 11 languages)

Wat het doet

Voordat u installeert

Audio8 TTS vraagt meer van uw computer dan de lichte nasynchronisatie-engines:

• Schijf: ongeveer 1 GB voor het model, gedownload bij de eerste regel die u nasynchroniseert.
• Geheugen: ongeveer 1,6 GB tijdens het spreken, en heel even tot 3 GB de eerste keer dat het een nieuwe spreker hoort.
• Tijd: elke seconde spraak kost twee tot drie seconden, op een Intel Core i7-13700T. Een video van tien minuten kan ongeveer een half uur duren.
• Processor: elke 64-bit Intel- of AMD-processor, of Apple Silicon. Er wordt geen videokaart gebruikt.

Voor snelle dubs klonen Sopro of Chatterbox stemmen ongeveer in realtime of sneller, in minder talen.

Stemmen

Kies in het tabblad Sprekers Audio8 TTS als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

1 stem.

Audio8 TTS heeft één stem, Speaker's own voice, en geen vooraf ingestelde stemmen: elke regel kloont een spreker. Subtitld snijdt een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels van 3 tot 12 seconden, of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Subtitld stuurt de ondertiteltekst mee met het voorbeeld, en Audio8 TTS gebruikt die om dichter bij de spreker te komen. Zonder tekst, bijvoorbeeld als de oorspronkelijke taal van het project niet is ingesteld, kloont de add-on alleen uit het geluid van het voorbeeld, iets minder nauwkeurig. Als uw ondertitels parafraseren wat er gezegd wordt in plaats van het uit te schrijven, zet dan Don't send the subtitles of the reference clip aan.

De eerste regel van elke spreker duurt een paar seconden langer, terwijl de add-on naar zijn voorbeeld luistert. Hij onthoudt het, zodat de volgende regels van die spreker meteen beginnen.

Modellen

Er is één model, Audio8 TTS Preview 0.6B, in de 4-bit ONNX-build die de makers voor processors publiceren. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

De add-on draait die build zonder PyTorch. Met dezelfde stem, regel en seed geeft hij precies hetzelfde als de eigen runtime van Audio8.

Opties

In Instellingen › Add-ons › Audio8 TTS (offline, voice clone, 11 languages) › Configureren.

Talen

Chinees, Kantonees, Japans, Koreaans, Engels, Nederlands, Frans, Duits, Italiaans, Pools en Spaans. Een spreker die gekloond is uit een clip in een van deze talen, spreekt alle andere. Een project in een andere taal krijgt een bericht dat dat zegt: kies er een andere nasynchronisatie-engine voor.

Audio8 noemt dit model een preview: dit zijn de talen die het aanbeveelt. We hebben in elke taal één zin gecontroleerd, met Whisper en een score voor stemgelijkenis, niet in elke taal op het gehoor.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Platforms

Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model en synchroniseert ermee na.

Problemen oplossen

• network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
• disk_fullNiet genoeg schijfruimte voor het model, ongeveer 1 GB.
• unsupported_languageDe taal van het project is niet een van de elf, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.
• unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
• bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.
• out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: Audio8 TTS heeft ongeveer 3 GB vrij nodig.
• internalEr ging iets mis in de add-on; het bericht bevat de details.

Licentie

Geschikt voor commercieel werk: de add-on is Apache-2.0, en dat geldt ook voor de code van Audio8 TTS en de Audio8 TTS Preview 0.6B-gewichten. De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon alleen stemmen die u mag gebruiken, en vermeld waar het ertoe doet dat een dub synthetisch is.