ZONOS3-Mini offline, stemklonen, 43 talen
Spreekt uw ondertitels in 43 talen in met ZONOS3-Mini, van Zyphra, in een van 27 stemmen of in de eigen stem van elke spreker, gekloond uit een paar seconden van de video. Het draait op de processor van uw eigen computer, ongeveer twee keer sneller dan realtime, zonder videokaart.
Instellingen Add-ons ZONOS3-Mini (offline, voice clone, 43 languages) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Talen
- 43
- Modellen
- 2
- Stemmen
- 28
- Download van de add-on
- 19–24 MB
- RAM, minimaal
- 2 GB
Wat het doet
Van Arabisch, Bengaals en Bulgaars tot Turks, Urdu en Vietnamees, inclusief Japans, Koreaans, Mandarijn, Hindi en nog acht talen van India. Getallen, datums, prijzen en eenheden worden voorgelezen volgens de grammatica van elke taal.
Subtitld snijdt een voorbeeld van elke spreker uit de video en stuurt dat mee met elke regel. ZONOS3-Mini kloont die stem in elk van zijn talen. Of kies een van 27 stemmen.
Elke regel wordt gecontroleerd terwijl hij wordt uitgesproken, zodat er geen woorden worden overgeslagen, en hij stopt wanneer de tekst is gelezen, in plaats van door te gaan met woorden die niet in de ondertitel staan.
Het model wordt één keer gedownload, de eerste keer dat een regel het nodig heeft. Daarna verlaat niets meer uw computer.
Voordat u installeert
- Schijf: 1.115 MB voor het model, gedownload bij de eerste regel, en nog 45 MB de eerste keer dat u de eigen stem van een spreker gebruikt.
- Geheugen: ongeveer 1,6 GB terwijl het spreekt.
- Tijd: op een Intel Core i7-13700T kost een seconde spraak ongeveer een halve seconde om te maken. De eerste regel wacht ongeveer 4 seconden langer terwijl het model laadt, en de eerste regel in de eigen stem van een spreker ongeveer 5 seconden langer terwijl de stem wordt aangeleerd.
- Processor: een 64-bits processor van Intel of AMD met AVX2 (Intel sinds 2013, AMD sinds 2015), of Apple Silicon. Er wordt geen videokaart gebruikt.
Stemmen
Kies in het tabblad Sprekers ZONOS3-Mini als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.
28 stemmen.
| Opgenomen in | Vrouwen | Mannen |
|---|---|---|
| Engels | Imogen (Brits), Morgana (heks), Sakura (anime), Savannah (Amerikaans), Willow (ASMR) | Cillian (Iers), Jett (energiek), Rupert (Brits), Thaddeus (omroeper), Wyatt (Amerikaans) |
| Frans | Gaspard | |
| Duits | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Italiaans | Ginevra | Lorenzo |
| Koreaans | Seoyeon | Minjun |
| Mandarijn | Meilin (energiek) | Haoran (energiek) |
| Portugees | Leonor | Thiago |
| Spaans | Ximena | Rodrigo |
| Telugu | Sravya | Chaitanya |
Dit zijn de eigen standaardstemmen van Zyphra. Elke stem spreekt elke taal, maar met het accent van de taal waarin hij is opgenomen, en in een andere taal kan dat accent sterk zijn: een Engelse stem die Russisch spreekt, is moeilijk te volgen. Gebruik voor een taal zonder eigen stem hier de eigen stem van de spreker.
Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.
ZONOS3-Mini luistert naar maximaal een minuut van het voorbeeld en neemt de stem over, niet de woorden of de voordracht. Het beste voorbeeld is heldere spraak dicht bij de microfoon: ruis en galm maken de kloon minder gelijkend op de spreker, en een telefoonopname geeft een stem die als een telefoon klinkt.
Modellen
Het model zit niet in de add-on: het wordt de eerste keer dat een regel het nodig heeft gedownload naar de gedeelde modelcache van Subtitld, uit de Hugging Face-repository van Zyphra op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het bewaard.
| Model | Download | Geschikt voor |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Standaard zonos3-mini | Elke regel, in elke taal en stem | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | De eigen stem van de spreker, de eerste keer dat u er een nasynchroniseert |
De add-on draait de eigen ggml-runtime van Zyphra, dezelfde code als de lokale server van Zyphra, ingebouwd in de add-on zonder PyTorch.
Aan zichzelf overgelaten praat het model na een korte regel soms door en voegt het een paar woorden toe die niet in de ondertitel staan. Daarom draait elke regel onder LACI, de uitlijningscontrole van Zyphra: die volgt welk deel van de tekst wordt uitgesproken, doet een overgeslagen of vastgelopen passage opnieuw en stopt de regel zodra de tekst is gelezen. De add-on knipt de regel daarna af bij de eerste stilte na dat punt. Die knip is een eigen regel van de add-on, niet van Zyphra. In onze test met korte ondertitelregels kwamen er zo 61 van de 64 schoon uit, tegen 37 van de 64 zonder. Een regel die stil uitkomt, wordt opnieuw gemaakt.
Opties
In Instellingen › Add-ons › ZONOS3-Mini (offline, voice clone, 43 languages) › Configureren.
0Bij 0 worden de logische processors van de computer gebruikt, maximaal 8. Meer is zelden sneller; minder houden de computer vlotter terwijl hij nasynchroniseert.
Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 5 tot 20 seconden van één persoon die spreekt, helder, geen telefoonopname.
Talen
Arabisch, Bengaals, Bulgaars, Chinees (Mandarijn), Tsjechisch, Deens, Nederlands, Engels, Fins, Frans, Georgisch, Duits, Grieks, Gujarati, Hebreeuws, Hindi, Hongaars, Indonesisch, Italiaans, Japans, Kannada, Koreaans, Maleis, Malayalam, Marathi, Noors, Odia, Pools, Portugees, Punjabi, Roemeens, Russisch, Slowaaks, Spaans, Zweeds, Tagalog, Tamil, Telugu, Thai, Turks, Oekraïens, Urdu en Vietnamees. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.
Engels volgt de regio van het project: het Verenigd Koninkrijk, Ierland, Australië, Nieuw-Zeeland, Zuid-Afrika en India krijgen Brits Engels, elke andere regio Amerikaans Engels. Portugees wordt gelezen als Braziliaans Portugees, en Frans als het Frans van Frankrijk.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Platforms
| Systeem | Download | Getest |
|---|---|---|
| Linux x86-64 | 19.0 MB | Nagesynchroniseerd met het echte model uit het release-archief op AlmaLinux 8, en in CI |
| macOS (Apple silicon) | 24.0 MB | Nagesynchroniseerd met het echte model in CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Nagesynchroniseerd met het echte model in CI |
Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model en synchroniseert regels na in zes talen, een korte regel en een gekloonde stem.
Problemen oplossen
network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.disk_fullNiet genoeg schijfruimte voor het model: 1.115 MB, en nog 45 MB voor de eigen stem van de spreker.unsupported_languageDe taal van het project is niet een van de 43, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: ZONOS3-Mini heeft ongeveer 2 GB vrij nodig.internalEr ging iets mis in de add-on; het bericht bevat de details. Op een oudere processor zonder AVX2 zegt het bericht dat.
Licentie
De add-on is Apache-2.0. De gewichten van ZONOS3-Mini en zijn standaardstemmen zijn Apache-2.0, en de runtime van Zyphra is MIT, dus commercieel werk is toegestaan. Het voorlezen van de tekst, zyphra-textnorm, is MIT, met grammatica's overgenomen uit NeMo-text-processing van NVIDIA (Apache-2.0) en gegevens uit Unicode CLDR.
De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon stemmen die u mag gebruiken, en vermeld dat een dub synthetisch is waar het ertoe doet.
Versies
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Andere add-ons voor Stemmen
-
Piper Offline
158 offline stemmen in 49 talen, elk een apart klein downloadbestand.
-
Kokoro Offline
54 offline stemmen in negen talen, allemaal uit één model van 82 MB.
-
Supertonic Offline
Tien offline stemmen, die elk alle 31 talen kunnen spreken.
-
sanoTTS Offline
Kleine offline stemmen, 28 in 14 talen, elk kleiner dan 10 MB.
-
Parler-TTS Offline
Engelse stemmen die een geschreven beschrijving volgen; 34 benoemde sprekers.
-
Qwen3-TTS Kloon
Tien talen, negen stemmen, en klonen vanaf 3 seconden van een spreker.
-
Coqui XTTS Kloon
Stemkloon in 16 talen, met een niet-commerciële modellicentie.
-
F5-TTS Kloon
Alleen stemkloon, in Engels en Chinees; niet-commercieel model.
-
VoxCPM2 Kloon
30 talen op 48 kHz, in de eigen stem van de spreker of een beschreven stem. Zwaar.
-
Pocket TTS Offline
Snel en licht, alleen CPU. 23 stemmen in zeven Europese talen.
-
Sopro Kloon
De eigen stem van de spreker, snel op een CPU. Vier talen.
-
KittenTTS 2 Kloon
De eigen stem van de spreker in 16 talen, op een CPU. Gewichten onder een beperkende licentie.
-
Ming-3.0-tts Kloon
7 talen op 44,1 kHz: gekloonde, ingebouwde of beschreven stemmen, met emotie. Zwaar.
-
Scylla's Band Offline
Veertien stemmen in zes talen, licht en snel op een CPU. Alleen vooraf ingestelde stemmen.
-
Audio8 TTS Kloon
De eigen stem van de spreker in 11 talen, Kantonees inbegrepen. Traag op een CPU.
-
Inflect Offline
Natuurlijke Engelse spraak uit een piepklein model, snel op elke CPU.
-
Paradee Offline
Vier natuurlijke Engelse stemmen, Amerikaans en Brits, uit één model van 8,5 MB.
-
BlueTTS Kloon
Hebreeuws en Jiddisch, plus vijf andere talen. De eigen stem van de spreker, snel op een CPU.
-
Chatterbox Kloon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…