Reverb offline, stemklonen, 7 talen, niet-commercieel
Spreekt uw ondertitels in het Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees in met Reverb-TTS, van Software Mansion AI Labs, in een van 16 stemmen of in de eigen stem van elke spreker, gekloond uit een paar seconden van de video en de ondertitels daarvan. Het draait op de processor van uw eigen computer, zonder videokaart. Het model is alleen voor niet-commercieel gebruik.
Instellingen Add-ons Reverb (offline, voice clone, 7 languages, non-commercial) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Talen
- 7
- Modellen
- 3
- Stemmen
- 17
- Download van de add-on
- 40–65 MB
- RAM, minimaal
- 2.5 GB
Wat het doet
Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees. Getallen, datums, prijzen en eenheden worden voluit voorgelezen, op de eigen manier van elke taal.
Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met de ondertitels die erin worden uitgesproken. Reverb kloont die stem in elk van zijn zeven talen. Of kies een van 16 stemmen.
Exact draait het model zoals het is gepubliceerd. Fast is ongeveer twee keer zo snel en een kleinere download, ten koste van iets nauwkeurigheid.
Het model wordt één keer gedownload, de eerste keer dat een regel het nodig heeft. Daarna verlaat niets meer uw computer.
Niet-commercieel model. De gewichten van Reverb-TTS en zijn vooraf ingestelde stemmen vallen onder CC-BY-NC-4.0, dat geen commercieel gebruik toestaat. De code van de add-on is Apache-2.0, maar dat verandert niets aan de voorwaarden van de gewichten. Voor commercieel werk kloont ZONOS3-Mini ook stemmen in alle zeven van deze talen, en de gewichten daarvan zijn Apache-2.0.
Voordat u installeert
- Schijf: 640 MB voor het model, gedownload bij de eerste regel; in plaats daarvan 378 MB als u vóór de eerste regel Fast kiest. De eerste keer dat u de eigen stem van een spreker gebruikt, nog 327 MB.
- Geheugen: ongeveer 1,5 GB terwijl het spreekt.
- Tijd: op een Intel Core i7-13700T die met ander werk bezig was, kostte een seconde spraak ongeveer 0,8 seconde om te maken op snelheid Exact en ongeveer 0,6 seconde op Fast.
- Processor: een 64-bits processor van Intel of AMD, of Apple Silicon. Er wordt geen videokaart gebruikt.
Stemmen
Kies in het tabblad Sprekers Reverb als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.
17 stemmen.
| Opgenomen in | Vrouwen | Mannen |
|---|---|---|
| Engels | Verteller, fluisterend | Verteller 1, verteller 2, boos |
| Frans | Franse vrouw | Franse man |
| Duits | Duitse vrouw | Duitse man |
| Italiaans | Italiaanse man, expressieve Italiaanse man | |
| Pools | Poolse man | |
| Portugees | Portugese vrouw | Portugese man |
| Spaans | Spaanse man 1, Spaanse man 2 |
Dit zijn de eigen vooraf ingestelde stemmen van Reverb. Elke stem spreekt elke taal, maar met het accent van de taal waarin hij is opgenomen. Gebruik voor een taal zonder eigen stem hier, of zonder vrouwenstem, de eigen stem van de spreker.
Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd, en stuurt mee wat erin wordt gezegd: de tekst van die ondertitels. Reverb heeft beide nodig. Het gaat verder vanuit het voorbeeld en de woorden ervan, en zonder de woorden zou het de eerste woorden van elke regel weglaten.
De ondertitels moeten dus in de taal zijn die in de video wordt gesproken. Heeft u ze vertaald, dan stuurt Subtitld de oorspronkelijke tekst, zolang het weet in welke taal de audio is: stel die in onder Ondertiteltaal in het paneel Transcriptie. Anders stopt de regel met een bericht dat dat zegt. Ondertitels die parafraseren wat er wordt gezegd, in plaats van het te transcriberen, maken de kloon slechter.
Het beste voorbeeld is 3 tot 10 seconden van één persoon die spreekt, helder en dicht bij de microfoon. Een voorbeeld korter dan 2 seconden wordt geweigerd, en een voorbeeld langer dan 15 seconden geeft meestal slechtere regels. Fallback reference clip in de instellingen van de add-on, met Fallback clip's transcript, wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.
Elke regel wordt gemaakt met de seed die Subtitld meestuurt, dus dezelfde regel in dezelfde stem komt er elke keer hetzelfde uit.
Modellen
Het model zit niet in de add-on: het wordt de eerste keer dat een regel het nodig heeft gedownload naar de gedeelde modelcache van Subtitld, uit de eigen release van de add-on op GitHub, waar de gewichten van Reverb omgezet voor ONNX Runtime worden bewaard, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het bewaard.
| Model | Download | Geschikt voor |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Standaard reverb | Elke regel op snelheid Exact, de standaard: het netwerk, de decoder en de 16 stemmen | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Elke regel op snelheid Fast, in plaats van het Exact-netwerk: 378 MB in totaal met de decoder | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | De eigen stem van de spreker, de eerste keer dat u er een nasynchroniseert |
Exact en Fast delen de decoder en de stemmen (111 MB): alleen het netwerk verschilt, 529 MB voor Exact en 266 MB voor Fast. Wie later van de ene naar de andere overstapt, downloadt het andere netwerk de eerste keer dat een regel het nodig heeft.
De add-on draait Reverb op ONNX Runtime, zonder PyTorch. De sampler en de tekstvoorbereiding van Reverb zijn overgezet uit de eigen code van Software Mansion. De willekeurige getallen komen uit een andere bron, dus een seed geeft hier een andere take dan in het eigen pakket van Reverb; het Exact-netwerk wordt gecontroleerd op dezelfde voorspellingen als dat pakket.
Opties
In Instellingen › Add-ons › Reverb (offline, voice clone, 7 languages, non-commercial) › Configureren.
0Bij 0 worden de logische processors van de computer gebruikt, maximaal 8. Meer is zelden sneller; minder houden de computer vlotter terwijl hij nasynchroniseert.
8Hoeveel rondes het model over elke regel maakt. 8 is de eigen instelling van Reverb; minder is sneller, met meer uitglijders.
exactExact draait het model zoals Software Mansion het heeft gepubliceerd. Fast draait het in 8-bits gehele getallen, ongeveer twee keer zo snel, met een eigen download van 266 MB: de regels klinken meestal hetzelfde, maar het wijkt verder af van het gepubliceerde model en glijdt vaker uit.
Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 3 tot 10 seconden van één persoon die spreekt, helder.
Precies wat er in de reserveclip wordt gezegd, woord voor woord. Reverb kloont uit de clip en de woorden ervan, dus zonder dit wordt de reserveclip geweigerd.
Talen
Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.
endefresitplpt
Platforms
| Systeem | Download | Getest |
|---|---|---|
| Linux x86-64 | 64.9 MB | Alle zeven talen gesproken en een stem gekloond met het echte model in CI |
| macOS (Apple silicon) | 45.6 MB | Alle zeven talen gesproken en een stem gekloond met het echte model in CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Alle zeven talen gesproken en een stem gekloond met het echte model in CI |
Linux x86-64 (glibc 2.35 of nieuwer, zoals in Ubuntu 22.04, Debian 12 of Fedora 36), macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model, spreekt een regel in elke taal en kloont een stem.
Problemen oplossen
network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.disk_fullNiet genoeg schijfruimte voor het model: 640 MB (378 MB bij Fast), en nog 327 MB voor de eigen stem van de spreker.unsupported_languageDe taal van het project is niet een van de zeven, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld of geen transcriptie ervan. Stel bij een vertaald project Ondertiteltaal in op de gesproken taal; zonder geopende video stelt u een Fallback reference clip en de transcriptie ervan in. Het bericht zegt welke.out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: Reverb heeft ongeveer 1,5 GB vrij nodig.internalEr ging iets mis in de add-on; het bericht bevat de details.
Licentie
De add-on is Apache-2.0, net als de code van Reverb die hij overzet. De gewichten van Reverb-TTS en zijn 16 vooraf ingestelde stemmen zijn CC-BY-NC-4.0: alleen voor niet-commercieel gebruik. Een licentiebestand dat bij het model hoort, vermeldt wat er bij de omzetting is veranderd. ONNX Runtime is MIT, en Verbalis, dat getallen en datums voorleest, is MIT.
Gebruik het verantwoord. Een gekloonde stem klinkt als een echt persoon. Kloon alleen stemmen die u mag gebruiken, met toestemming van de spreker; doe u niet voor als echte personen, en gebruik de spraak die u maakt niet om te misleiden, op te lichten of lastig te vallen. Vertel uw luisteraars wanneer ze een synthetische stem horen.
Versies
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Andere add-ons voor Stemmen
-
Piper Offline
158 offline stemmen in 49 talen, elk een apart klein downloadbestand.
-
Kokoro Offline
54 offline stemmen in negen talen, allemaal uit één model van 82 MB.
-
Supertonic Offline
Tien offline stemmen, die elk alle 31 talen kunnen spreken.
-
sanoTTS Offline
Kleine offline stemmen, 28 in 14 talen, elk kleiner dan 10 MB.
-
Parler-TTS Offline
Engelse stemmen die een geschreven beschrijving volgen; 34 benoemde sprekers.
-
Qwen3-TTS Kloon
Tien talen, negen stemmen, en klonen vanaf 3 seconden van een spreker.
-
Coqui XTTS Kloon
Stemkloon in 16 talen, met een niet-commerciële modellicentie.
-
F5-TTS Kloon
Alleen stemkloon, in Engels en Chinees; niet-commercieel model.
-
VoxCPM2 Kloon
30 talen op 48 kHz, in de eigen stem van de spreker of een beschreven stem. Zwaar.
-
Pocket TTS Offline
Snel en licht, alleen CPU. 23 stemmen in zeven Europese talen.
-
Sopro Kloon
De eigen stem van de spreker, snel op een CPU. Vier talen.
-
KittenTTS 2 Kloon
De eigen stem van de spreker in 16 talen, op een CPU. Gewichten onder een beperkende licentie.
-
Ming-3.0-tts Kloon
7 talen op 44,1 kHz: gekloonde, ingebouwde of beschreven stemmen, met emotie. Zwaar.
-
Scylla's Band Offline
Veertien stemmen in zes talen, licht en snel op een CPU. Alleen vooraf ingestelde stemmen.
-
Audio8 TTS Kloon
De eigen stem van de spreker in 23 talen, Kantonees en Arabisch inbegrepen. Traag op een CPU.
-
Inflect Offline
Natuurlijke Engelse spraak uit een piepklein model, snel op elke CPU.
-
Paradee Offline
Vier natuurlijke Engelse stemmen, Amerikaans en Brits, uit één model van 8,5 MB.
-
BlueTTS Kloon
Hebreeuws en Jiddisch, plus vijf andere talen. De eigen stem van de spreker, snel op een CPU.
-
ZONOS3-Mini Kloon
43 talen, van Arabisch tot Vietnamees. De eigen stem van de spreker, op een CPU.
-
Chatterbox Kloon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…