Reverb offline, stemklonen, 7 talen, niet-commercieel

StemmenOfflineAlleen CPUStemkloningNiet-commercieel

Spreekt uw ondertitels in het Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees in met Reverb-TTS, van Software Mansion AI Labs, in een van 16 stemmen of in de eigen stem van elke spreker, gekloond uit een paar seconden van de video en de ondertitels daarvan. Het draait op de processor van uw eigen computer, zonder videokaart. Het model is alleen voor niet-commercieel gebruik.

Installeer hem vanuit Subtitld

Instellingen Add-ons Reverb (offline, voice clone, 7 languages, non-commercial) Installeren

Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.

Broncode op GitHub
Talen
7
Modellen
3
Stemmen
17
Download van de add-on
40–65 MB
RAM, minimaal
2.5 GB

Wat het doet

Zeven talen

Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees. Getallen, datums, prijzen en eenheden worden voluit voorgelezen, op de eigen manier van elke taal.

De eigen stem van de spreker

Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met de ondertitels die erin worden uitgesproken. Reverb kloont die stem in elk van zijn zeven talen. Of kies een van 16 stemmen.

Exact of Fast

Exact draait het model zoals het is gepubliceerd. Fast is ongeveer twee keer zo snel en een kleinere download, ten koste van iets nauwkeurigheid.

Offline na de eerste regel

Het model wordt één keer gedownload, de eerste keer dat een regel het nodig heeft. Daarna verlaat niets meer uw computer.

Niet-commercieel model. De gewichten van Reverb-TTS en zijn vooraf ingestelde stemmen vallen onder CC-BY-NC-4.0, dat geen commercieel gebruik toestaat. De code van de add-on is Apache-2.0, maar dat verandert niets aan de voorwaarden van de gewichten. Voor commercieel werk kloont ZONOS3-Mini ook stemmen in alle zeven van deze talen, en de gewichten daarvan zijn Apache-2.0.

Voordat u installeert

  • Schijf: 640 MB voor het model, gedownload bij de eerste regel; in plaats daarvan 378 MB als u vóór de eerste regel Fast kiest. De eerste keer dat u de eigen stem van een spreker gebruikt, nog 327 MB.
  • Geheugen: ongeveer 1,5 GB terwijl het spreekt.
  • Tijd: op een Intel Core i7-13700T die met ander werk bezig was, kostte een seconde spraak ongeveer 0,8 seconde om te maken op snelheid Exact en ongeveer 0,6 seconde op Fast.
  • Processor: een 64-bits processor van Intel of AMD, of Apple Silicon. Er wordt geen videokaart gebruikt.

Stemmen

Kies in het tabblad Sprekers Reverb als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

17 stemmen.

Opgenomen in Vrouwen Mannen
Engels Verteller, fluisterend Verteller 1, verteller 2, boos
Frans Franse vrouw Franse man
Duits Duitse vrouw Duitse man
Italiaans Italiaanse man, expressieve Italiaanse man
Pools Poolse man
Portugees Portugese vrouw Portugese man
Spaans Spaanse man 1, Spaanse man 2

Dit zijn de eigen vooraf ingestelde stemmen van Reverb. Elke stem spreekt elke taal, maar met het accent van de taal waarin hij is opgenomen. Gebruik voor een taal zonder eigen stem hier, of zonder vrouwenstem, de eigen stem van de spreker.

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd, en stuurt mee wat erin wordt gezegd: de tekst van die ondertitels. Reverb heeft beide nodig. Het gaat verder vanuit het voorbeeld en de woorden ervan, en zonder de woorden zou het de eerste woorden van elke regel weglaten.

De ondertitels moeten dus in de taal zijn die in de video wordt gesproken. Heeft u ze vertaald, dan stuurt Subtitld de oorspronkelijke tekst, zolang het weet in welke taal de audio is: stel die in onder Ondertiteltaal in het paneel Transcriptie. Anders stopt de regel met een bericht dat dat zegt. Ondertitels die parafraseren wat er wordt gezegd, in plaats van het te transcriberen, maken de kloon slechter.

Het beste voorbeeld is 3 tot 10 seconden van één persoon die spreekt, helder en dicht bij de microfoon. Een voorbeeld korter dan 2 seconden wordt geweigerd, en een voorbeeld langer dan 15 seconden geeft meestal slechtere regels. Fallback reference clip in de instellingen van de add-on, met Fallback clip's transcript, wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Elke regel wordt gemaakt met de seed die Subtitld meestuurt, dus dezelfde regel in dezelfde stem komt er elke keer hetzelfde uit.

Modellen

Het model zit niet in de add-on: het wordt de eerste keer dat een regel het nodig heeft gedownload naar de gedeelde modelcache van Subtitld, uit de eigen release van de add-on op GitHub, waar de gewichten van Reverb omgezet voor ONNX Runtime worden bewaard, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het bewaard.

Model DownloadGeschikt voor
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Standaard reverb
640 MB
Elke regel op snelheid Exact, de standaard: het netwerk, de decoder en de 16 stemmen
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Elke regel op snelheid Fast, in plaats van het Exact-netwerk: 378 MB in totaal met de decoder
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
De eigen stem van de spreker, de eerste keer dat u er een nasynchroniseert

Exact en Fast delen de decoder en de stemmen (111 MB): alleen het netwerk verschilt, 529 MB voor Exact en 266 MB voor Fast. Wie later van de ene naar de andere overstapt, downloadt het andere netwerk de eerste keer dat een regel het nodig heeft.

De add-on draait Reverb op ONNX Runtime, zonder PyTorch. De sampler en de tekstvoorbereiding van Reverb zijn overgezet uit de eigen code van Software Mansion. De willekeurige getallen komen uit een andere bron, dus een seed geeft hier een andere take dan in het eigen pakket van Reverb; het Exact-netwerk wordt gecontroleerd op dezelfde voorspellingen als dat pakket.

Opties

In Instellingen › Add-ons › Reverb (offline, voice clone, 7 languages, non-commercial) › Configureren.

CPU threads
Standaard: 0

Bij 0 worden de logische processors van de computer gebruikt, maximaal 8. Meer is zelden sneller; minder houden de computer vlotter terwijl hij nasynchroniseert.

Quality steps
Standaard: 8

Hoeveel rondes het model over elke regel maakt. 8 is de eigen instelling van Reverb; minder is sneller, met meer uitglijders.

Speed
Standaard: exact

Exact draait het model zoals Software Mansion het heeft gepubliceerd. Fast draait het in 8-bits gehele getallen, ongeveer twee keer zo snel, met een eigen download van 266 MB: de regels klinken meestal hetzelfde, maar het wijkt verder af van het gepubliceerde model en glijdt vaker uit.

Fallback reference clip
Standaard: leeg

Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 3 tot 10 seconden van één persoon die spreekt, helder.

Fallback clip's transcript
Standaard: leeg

Precies wat er in de reserveclip wordt gezegd, woord voor woord. Reverb kloont uit de clip en de woorden ervan, dus zonder dit wordt de reserveclip geweigerd.

Talen

Engels, Duits, Frans, Spaans, Italiaans, Pools en Portugees. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Platforms

Systeem DownloadGetest
Linux x86-64 64.9 MBAlle zeven talen gesproken en een stem gekloond met het echte model in CI
macOS (Apple silicon) 45.6 MBAlle zeven talen gesproken en een stem gekloond met het echte model in CI (Apple Silicon)
Windows x86-64 40.5 MBAlle zeven talen gesproken en een stem gekloond met het echte model in CI

Linux x86-64 (glibc 2.35 of nieuwer, zoals in Ubuntu 22.04, Debian 12 of Fedora 36), macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model, spreekt een regel in elke taal en kloont een stem.

Problemen oplossen

  • network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
  • disk_fullNiet genoeg schijfruimte voor het model: 640 MB (378 MB bij Fast), en nog 327 MB voor de eigen stem van de spreker.
  • unsupported_languageDe taal van het project is niet een van de zeven, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.
  • unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
  • bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld of geen transcriptie ervan. Stel bij een vertaald project Ondertiteltaal in op de gesproken taal; zonder geopende video stelt u een Fallback reference clip en de transcriptie ervan in. Het bericht zegt welke.
  • out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: Reverb heeft ongeveer 1,5 GB vrij nodig.
  • internalEr ging iets mis in de add-on; het bericht bevat de details.

Licentie

Add-on
Apache-2.0
met de eigen code van Reverb, overgezet naar numpy
Engine
MIT
ONNX Runtime
Model
CC-BY-NC-4.0
Gewichten van Reverb-TTS v1.0.0, van Software Mansion AI Labs; alleen niet-commercieel
Stemmen
CC-BY-NC-4.0
De 16 vooraf ingestelde stemmen van Reverb; alleen niet-commercieel
Tekst voorlezen
MIT, Unicode-3.0
Verbalis, van Software Mansion, met een tabel uit de Unicode Character Database

De add-on is Apache-2.0, net als de code van Reverb die hij overzet. De gewichten van Reverb-TTS en zijn 16 vooraf ingestelde stemmen zijn CC-BY-NC-4.0: alleen voor niet-commercieel gebruik. Een licentiebestand dat bij het model hoort, vermeldt wat er bij de omzetting is veranderd. ONNX Runtime is MIT, en Verbalis, dat getallen en datums voorleest, is MIT.

Gebruik het verantwoord. Een gekloonde stem klinkt als een echt persoon. Kloon alleen stemmen die u mag gebruiken, met toestemming van de spreker; doe u niet voor als echte personen, en gebruik de spraak die u maakt niet om te misleiden, op te lichten of lastig te vallen. Vertel uw luisteraars wanneer ze een synthetische stem horen.

Versies

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Andere add-ons voor Stemmen