Ming-3.0-tts (offline, voice clone, 7 languages)

Wat het doet

Voordat u installeert

Ming-3.0-tts is een groot model, met ongeveer 1,5 miljard parameters inclusief de audiocodec. Het vraagt veel van uw computer:

• Schijf: ongeveer 3,4 GB, vooral het model van 2,99 GB, gedownload bij de eerste regel die u nasynchroniseert.
• Geheugen: ongeveer 5 GB vrij. Met minder werkt het nog, maar veel langzamer.
• Tijd: op een CPU kost elke seconde spraak ongeveer vier tot vijf seconden, op een Intel Core i7-13700T. Een video van tien minuten kan ongeveer drie kwartier duren.

Voor snelle dubs op bescheiden computers zijn Piper of Kokoro veel lichter.

Stemmen

Kies in het tabblad Sprekers Ming-3.0-tts als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

12 stemmen.

De gekloonde stem

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels van 3 tot 12 seconden, of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Subtitld stuurt de ondertiteltekst mee met het voorbeeld, en Ming-3.0-tts gaat erop verder. Zo komt het het dichtst bij de spreker, voordracht inbegrepen. Als een dub in een andere taal het accent van de spreker houdt, zet dan Clone the timbre only aan.

Ingebouwde stemmen

Emma (Amerikaans), George en Charlotte (Brits), Ling Xiaorou en Ling Kai (Chinees) zijn sprekers die het model heeft geleerd. Elk klinkt op elke regel hetzelfde, en elk spreekt alle zeven talen.

Beschreven stemmen

Ming-3.0-tts verzint elke keer dat het een beschrijving leest een nieuwe stem. Daarom maakt de add-on de stem van elke spreker één keer, en elke regel van die spreker gebruikt hem opnieuw: de stem blijft gelijk door de hele video, en twee sprekers met dezelfde beschrijving klinken toch als twee mensen.

Emotie, snelheid, toonhoogte en volume

Dit zijn instellingen van de add-on, dus ze gelden voor elke spreker die wordt nagesynchroniseerd met een gekloonde of beschreven stem. Het zijn de eigen bedieningselementen van het model, die het geluid van de stem van de spreker overnemen maar niet de manier van spreken, en ze werken één tegelijk: een emotie gaat, als die is ingesteld, voor op snelheid, toonhoogte en volume. Ingebouwde stemmen negeren ze.

In Chinese of Engelse regels maakt het model ook geluiden die in de tekst zijn geschreven: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] en nog een paar.

Modellen

Er is één model, Ming-3.0-tts-0.5B. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

De eerste regel laadt ook het model, dus die duurt langer dan de volgende. Annuleren stopt een regel tussen twee stappen, of stopt de download.

Opties

In Instellingen › Add-ons › Ming-3.0-tts (offline, voice clone, 7 languages) › Configureren.

Talen

Chinees, Engels, Japans, Koreaans, Duits, Frans en Spaans. Elke stem spreekt ze allemaal.

• zh
• en
• ja
• ko
• de
• fr
• es

Platforms

Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en CI controleert dat alles wat nodig is om te spreken in de build zit. CI draait het model zelf niet.

Problemen oplossen

• network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
• disk_fullNiet genoeg schijfruimte voor het model. Het heeft ongeveer 3,4 GB vrij nodig.
• oomOnvoldoende geheugen. Sluit andere programma's; Ming-3.0-tts heeft ongeveer 5 GB vrij nodig.
• bad_paramsDe regel heeft geen tekst, de gekloonde stem kreeg geen voorbeeld, of Voice you describe heeft geen beschrijving. Het bericht zegt welke: open de video, stel een Fallback reference clip in, of schrijf een Voice description.
• unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
• internalEr ging iets mis in de add-on; het bericht bevat de details. Als u Inference device hebt gewijzigd, zet het dan terug op Automatisch.

Licentie

Geschikt voor commercieel werk: de add-on is Apache-2.0, en de code van Ming-3.0-tts en de Ming-3.0-tts-0.5B-gewichten zijn MIT. De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon alleen stemmen die u mag gebruiken, en vermeld waar het ertoe doet dat een dub synthetisch is.