Sopro (offline, voice clone, 4 languages)

StemmenOfflineAlleen CPUStemkloningCommercieel gebruik toegestaan

Spreekt uw ondertitels in het Engels, Europees Portugees, Frans en Duits in met Sopro V2 Turbo, in de eigen stem van elke spreker, gekloond uit een paar seconden van de video, of in een van 8 vooraf ingestelde stemmen. Het draait op de processor van uw eigen computer, ongeveer twee keer sneller dan realtime, zonder videokaart.

Installeer hem vanuit Subtitld

Instellingen Add-ons Sopro (offline, voice clone, 4 languages) Installeren

Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.

Broncode op GitHub
Talen
4
Modellen
1
Stemmen
9
Download van de add-on
38–61 MB
RAM, minimaal
1.5 GB

Wat het doet

De eigen stem van de spreker

Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met elke regel. Sopro kloont die stem, zodat de dub klinkt als de persoon in beeld, in elk van de vier talen.

Snel op elke computer

Sopro V2 Turbo is een klein model van 120 miljoen parameters. Op de processor van een laptop spreekt het ongeveer twee keer sneller dan realtime, met ongeveer 1 GB geheugen.

Offline na de eerste regel

Het model wordt één keer gedownload, de eerste keer dat u ermee nasynchroniseert. Daarna verlaat niets meer uw computer.

Vrij voor commercieel werk

De add-on, Sopro en het model zijn Apache-2.0. De vooraf ingestelde stemmen zijn voorlezers van LibriVox, wier opnames in het publieke domein zijn.

Voordat u installeert

Sopro vraagt weinig van uw computer:

  • Schijf: ongeveer 340 MB voor het model, gedownload bij de eerste regel.
  • Geheugen: ongeveer 1 GB terwijl het spreekt.
  • Processor: elke 64-bits processor van Intel of AMD, of Apple Silicon. Er wordt geen videokaart gebruikt.

Kloon een stem alleen met toestemming van de eigenaar. De maker van Sopro vraagt het nooit te gebruiken om zich voor iemand anders uit te geven.

Stemmen

Kies in het tabblad Sprekers Sopro als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

9 stemmen.

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden. Het beste voorbeeld is 5 tot 20 seconden van alleen de spreker, zonder muziek of andere stemmen.

Vooraf ingestelde stemmen
Vrouwen Engels, Portugees, Frans, Duits
Mannen Engels, Portugees, Frans, Duits

Elke vooraf ingestelde stem is een vrijwilliger van LibriVox die een boek in die taal voorleest. Elke stem spreekt alle vier talen; de eigen taal geeft hem alleen een accent, dus kies er een in de taal van uw project voor de natuurlijkste dub.

Modellen

Sopro heeft één model voor alle vier talen. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

Model DownloadGeschikt voor
Sopro V2 Turbo (120M, ONNX) Standaard sopro-v2-turbo
336 MB
Elke stem, in alle vier talen, ongeveer 2,5× realtime

De add-on draait de ONNX-build van Sopro die de maker publiceert, zonder PyTorch. We hebben hem vergeleken met de officiële PyTorch-build op dezelfde regels in alle vier talen: hij maakte niet meer fouten en klonk even dicht bij de spreker.

Opties

In Instellingen › Add-ons › Sopro (offline, voice clone, 4 languages) › Configureren.

CPU threads
Standaard: 0

Bij 0 wordt de helft van de logische processors van de computer gebruikt, maximaal 8. Minder threads houden de computer vlotter terwijl hij nasynchroniseert.

Variation
Standaard: 0.8

Lager is stabieler en vlakker, hoger is levendiger maar gaat vaker mis. 0,8 is de eigen standaardwaarde van Sopro.

Fallback reference clip
Standaard: leeg

Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 5 tot 20 seconden van één persoon die spreekt.

Talen

Engels, Europees Portugees, Frans en Duits. Braziliaans-Portugese tekst wordt ook gelezen, met een Europees accent. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.

Schrijf getallen en symbolen waar het ertoe doet uit in woorden: Sopro leest "1 + 2" minder betrouwbaar dan "one plus two". Een woord uit een andere taal midden in een zin kan verkeerd worden uitgesproken.

  • en
  • pt
  • fr
  • de

Platforms

Systeem DownloadGetest
Linux x86-64 61.1 MBNagesynchroniseerd met het echte model op een echte computer en in CI
macOS (Apple silicon) 43.2 MBNagesynchroniseerd met het echte model in CI (Apple Silicon)
Windows x86-64 38.1 MBNagesynchroniseerd met het echte model in CI

Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt het model en synchroniseert ermee na.

Problemen oplossen

  • network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
  • disk_fullNiet genoeg schijfruimte voor het model, ongeveer 340 MB.
  • unsupported_languageDe taal van het project is niet een van de vier, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.
  • unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
  • bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.
  • out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: Sopro heeft ongeveer 1 GB nodig.
  • internalEr ging iets mis in de add-on; het bericht bevat de details.

Licentie

Add-on
Apache-2.0
Engine
Apache-2.0
Sopro, van Samuel Vitorino; ONNX Runtime is MIT
Model
Apache-2.0
Sopro V2 Turbo-gewichten
Vooraf ingestelde stemmen
Public domain, CC-BY-4.0
Voorlezers van LibriVox; de Engelse via LibriTTS-R

Geschikt voor commercieel werk: de add-on, Sopro en het Sopro V2 Turbo-model zijn Apache-2.0. De vooraf ingestelde stemmen zijn opnames van LibriVox, in het publieke domein; de Engelse komen via LibriTTS-R, onder CC-BY-4.0, en de add-on vermeldt elke opname. De dubs die u maakt, zijn van u.

Versies

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Andere add-ons voor Stemmen