KittenTTS 2 (offline, voice clone, 16 languages)

Wat het doet

Voordat u installeert

• Schijf: ongeveer 1,7 GB voor het model, gedownload bij de eerste regel, en nog 540 MB voor klonen, bij de eerste gekloonde regel.
• Geheugen: ongeveer 2,3 GB terwijl het spreekt, dus ongeveer 3 GB vrij.
• Processor: bij Intel en AMD een met AVX2, FMA en F16C, die Intel-processors sinds 2013 hebben en AMD-processors sinds 2015. Sommige Celeron-, Pentium- en Atom-processors missen ze, en daar mislukt de eerste regel met een bericht dat dat zegt. Elke Mac met Apple Silicon werkt.

Kloon een stem alleen met toestemming van de eigenaar.

Stemmen

Kies in het tabblad Sprekers KittenTTS 2 als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel. Stel de taal van het project in voordat u nasynchroniseert.

116 stemmen in 16 talen.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

Met Speaker's own voice snijdt Subtitld een voorbeeld van 3 tot 12 seconden van die spreker uit de audio van het project, en stuurt het mee met de ondertiteltekst die erin wordt gesproken. KittenTTS gaat verder vanaf dat voorbeeld; zo komt het het dichtst bij de spreker en is het het stabielst. In onze test, met Engelse voorbeelden en Portugese regels, klonken de gekloonde dubs bijna even dicht bij hun sprekers als die van VoxCPM2, en hadden ze minder verkeerde woorden. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Elke vooraf ingestelde stem hoort bij één taal: het is een opname, en het model gaat verder in het accent ervan. Daarom toont de lijst Stem de stemmen van de taal van uw project. Engels heeft er 50, waaronder Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki en Leo uit KittenTTS 0.8, en personages zoals Marcus, een soepele radio-dj, of Victoria, een statige verteller. De andere talen hebben er elk 2 tot 7. KittenML zegt niet waar de opnames vandaan komen.

Af en toe blijft het model stil in plaats van een regel uit te spreken. De add-on merkt dat en probeert het opnieuw, tot drie keer, zodat u dat niet hoeft te doen.

Modellen

Geen van de bestanden van KittenML zit in de add-on: ze worden de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, uit de Hugging Face-repository van KittenML op een vaste revisie, elk bestand gecontroleerd. De referentie-encoder, die een voorbeeld omzet in een stem, komt bij de eerste gekloonde regel uit de eigen release van de add-on. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijven de modellen bewaard.

De add-on draait het eigen C++-programma van KittenML voor KittenTTS 2, dat ongeveer vier keer sneller is dan het Python-pakket van KittenML en een derde van het geheugen ervan nodig heeft.

Opties

In Instellingen › Add-ons › KittenTTS 2 (offline, voice clone, 16 languages) › Configureren.

Talen

Engels, Spaans, Frans, Duits, Italiaans, Portugees, Russisch, Chinees, Japans, Koreaans, Arabisch, Hindi, Turks, Nederlands, Pools en Indonesisch. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.

Engelse tekst wordt gelezen zoals hij bedoeld is: in het Engels wordt "the 3rd of May" "the third of May", en "$12.50" wordt "twelve dollars fifty". Schrijf in de andere talen getallen en symbolen uit in woorden waar het ertoe doet.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Platforms

Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model en synchroniseert ermee na, ook in een gekloonde stem. Op Linux is glibc 2.35 of nieuwer nodig.

Problemen oplossen

• network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
• disk_fullNiet genoeg schijfruimte voor het model, ongeveer 1,7 GB, of 2,2 GB met klonen.
• unsupported_languageDe taal van het project is niet een van de 16, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.
• unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
• bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.
• internalEr ging iets mis in de add-on; het bericht bevat de details. Zegt het dat de processor geen AVX2, FMA en F16C heeft, dan kan deze computer KittenTTS 2 niet draaien. Zegt het dat de regel steeds stilte opleverde, probeer dan een andere stem of formuleer de regel anders.

Licentie

De add-on is Apache-2.0. De runtime van KittenML is MIT en Apache-2.0, LibTorch is BSD-3-Clause, en de onderdelen van de referentie-encoder zijn MIT. De KittenTTS 2-gewichten vallen onder de Stellon Labs Community License, die u accepteert wanneer de add-on ze downloadt: gratis voor onderzoek en persoonlijk gebruik, en voor commercieel gebruik alleen onder US$ 1.000.000 jaaromzet en totale financiering, met registratie bij Stellon Labs. De gewichten en wat ze maken mogen niet worden gebruikt om andere modellen te trainen. De dubs die u maakt, zijn van u. Powered by KittenML.