BlueTTS offline, stemklonen, Hebreeuws + 6 talen
Spreekt uw ondertitels in het Hebreeuws, Engels, Duits, Spaans, Italiaans, Russisch en Jiddisch in met BlueV3, van Maxim Melichov, in een van 15 stemmen of in de eigen stem van elke spreker, gekloond uit ongeveer tien seconden van de video. Het draait op de processor van uw eigen computer, drie tot vijf keer sneller dan realtime, zonder videokaart.
Instellingen Add-ons BlueTTS (offline, voice clone, Hebrew + 6 languages) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Talen
- 7
- Modellen
- 5
- Stemmen
- 16
- Download van de add-on
- 37–62 MB
- RAM, minimaal
- 2.5 GB
Wat het doet
BlueTTS is in de eerste plaats voor het Hebreeuws gemaakt: het leest Hebreeuwse tekst zonder klinkertekens, inclusief getallen, datums en prijzen, en Engelse woorden in een Hebreeuwse regel worden in het Engels gelezen. Het spreekt ook Jiddisch, wat weinig nasynchronisatie-engines doen.
Subtitld snijdt ongeveer tien seconden van elke spreker uit de video en stuurt die mee met elke regel. BlueTTS kloont die stem in elk van zijn zeven talen. Of kies een van 15 stemmen.
Op de processor van een laptop spreekt het drie tot vijf keer sneller dan realtime. Er wordt geen videokaart gebruikt.
Elk onderdeel wordt één keer gedownload, de eerste keer dat een regel het nodig heeft. Daarna verlaat niets meer uw computer.
Voordat u installeert
Wat BlueTTS nodig heeft, hangt af van de talen die u nasynchroniseert:
- Schijf: 428 MB voor het model, gedownload bij de eerste regel. Hebreeuws voegt 1,2 GB toe (of 312 MB met het compacte leesmodel), Jiddisch 307 MB en de eigen stem van de spreker 136 MB, elk de eerste keer dat u het gebruikt.
- Geheugen: ongeveer 700 MB terwijl het spreekt, ongeveer 2 GB zodra Hebreeuws is geladen.
- Tijd: op een Intel Core i7-13700T kost een seconde spraak ongeveer een vijfde seconde om te maken, een derde seconde in het Hebreeuws. De eerste Hebreeuwse regel wacht ongeveer 15 seconden langer terwijl het leesmodel laadt.
- Processor: elke 64-bits processor van Intel of AMD, of Apple Silicon. Er wordt geen videokaart gebruikt.
Stemmen
Kies in het tabblad Sprekers BlueTTS als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.
16 stemmen.
| Stemmen | |
|---|---|
| Vrouwen | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Mannen | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Elke stem spreekt alle zeven talen, elk in zijn eigen natuurlijke tempo in elke taal. Ze zijn gemaakt van voorlezers uit het luisterboekcorpus LibriTTS-R.
Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.
BlueTTS luistert naar ongeveer de eerste negen seconden van het voorbeeld en neemt de klankkleur en toonhoogte van de stem over, niet de voordracht. Het beste voorbeeld is heldere spraak dicht bij de microfoon: ruis en galm maken de kloon minder gelijkend op de spreker, en een telefoonopname geeft een stem die als een telefoon klinkt.
Modellen
Het model en de leesmodellen zitten niet in de add-on: elk wordt de eerste keer dat een regel het nodig heeft gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijven ze bewaard.
| Model | Download | Geschikt voor |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Standaard bluev3 | Elke regel: de stemmen, en hoe Engels, Duits, Spaans, Italiaans en Russisch worden gelezen | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | De eigen stem van de spreker, de eerste keer dat u er een nasynchroniseert | |
| RenikudPlus Hebrew G2P renikudplus | Hebreeuws, de eerste keer dat u erin nasynchroniseert (de standaard) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Hebreeuws, wanneer u het compacte leesmodel kiest | |
| ReNikud-yi Yiddish context model renikud-yi | Jiddisch, de eerste keer dat u erin nasynchroniseert |
De add-on draait de eigen code van BlueTTS op ONNX Runtime, zonder PyTorch. Met dezelfde stem, regel en seed geeft hij precies wat het eigen Python-pakket van BlueTTS geeft.
Opties
In Instellingen › Add-ons › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configureren.
0Bij 0 worden de logische processors van de computer gebruikt, maximaal 8. Meer is zelden sneller; minder houden de computer vlotter terwijl hij nasynchroniseert.
8Hoeveel keer het model over elke regel gaat. 8 is de eigen instelling van BlueTTS. 4 is ongeveer 1,7 keer zo snel, met iets lagere kwaliteit.
accurateHoe Hebreeuwse tekst in klanken wordt omgezet. accurate is het volledige model, 1,2 GB, met ongeveer 2 GB geheugen. compact is hetzelfde model kleiner gemaakt, 312 MB: in onze test las het ongeveer 1 op de 200 woorden anders, vaker fout.
Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: ongeveer 10 seconden van één persoon die spreekt, helder, geen telefoonopname.
Talen
Hebreeuws, Engels, Duits, Spaans, Italiaans, Russisch en Jiddisch. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.
Spaans volgt de regio van het project: Spanje krijgt Castiliaans, elke andere regio Latijns-Amerikaans Spaans. Getallen, datums, prijzen en codes worden als woorden gelezen, behalve in het Jiddisch: schrijf Jiddische getallen voluit in woorden, anders wordt de regel geweigerd met een bericht dat dat zegt.
heendeesitruyi
Platforms
| Systeem | Download | Getest |
|---|---|---|
| Linux x86-64 | 61.7 MB | Nagesynchroniseerd met het echte model op een echte computer, via de add-onbeheerder van Subtitld, en in CI |
| macOS (Apple silicon) | 43.8 MB | Nagesynchroniseerd met het echte model in CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Nagesynchroniseerd met het echte model in CI |
Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt de modellen en synchroniseert een regel na in elke taal.
Problemen oplossen
network_unavailableEen model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.disk_fullNiet genoeg schijfruimte voor het model: 428 MB, en tot 1,7 GB meer voor Hebreeuws, Jiddisch en de eigen stem van de spreker.unsupported_languageDe taal van het project is niet een van de zeven, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.bad_paramsDe regel heeft geen tekst, een Jiddische regel bevat cijfers, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's: BlueTTS heeft ongeveer 1 GB vrij nodig, 2,5 GB met Hebreeuws.internalEr ging iets mis in de add-on; het bericht bevat de details.
Licentie
De add-on is Apache-2.0 en de code van BlueTTS is MIT. Het stemmodel is ook MIT, behalve de vocoder, het deel dat de uitvoer van het model in geluid omzet: die is verfijnd vanuit Supertonic-3 van Supertone en valt onder de BigScience OpenRAIL-M-licentie. Commercieel werk is toegestaan, maar OpenRAIL-M verbiedt sommige toepassingen van wat het maakt, waaronder de wet overtreden, mensen misleiden en zich zonder toestemming voor iemand uitgeven. De 15 stemmen zijn CC-BY-4.0. De Duitse en Italiaanse lexicons, en een deel van het Jiddische, zijn CC BY-SA; ze worden met de modellen gedownload en blijven zoals hun makers ze publiceren.
De dubs die u maakt, zijn van u. Een gekloonde stem klinkt als een echt persoon: kloon stemmen die u mag gebruiken, en vermeld dat een dub synthetisch is waar het ertoe doet.
Versies
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Andere add-ons voor Stemmen
-
Piper Offline
158 offline stemmen in 49 talen, elk een apart klein downloadbestand.
-
Kokoro Offline
54 offline stemmen in negen talen, allemaal uit één model van 82 MB.
-
Supertonic Offline
Tien offline stemmen, die elk alle 31 talen kunnen spreken.
-
sanoTTS Offline
Kleine offline stemmen, 28 in 14 talen, elk kleiner dan 10 MB.
-
Parler-TTS Offline
Engelse stemmen die een geschreven beschrijving volgen; 34 benoemde sprekers.
-
Qwen3-TTS Kloon
Tien talen, negen stemmen, en klonen vanaf 3 seconden van een spreker.
-
Coqui XTTS Kloon
Stemkloon in 16 talen, met een niet-commerciële modellicentie.
-
F5-TTS Kloon
Alleen stemkloon, in Engels en Chinees; niet-commercieel model.
-
VoxCPM2 Kloon
30 talen op 48 kHz, in de eigen stem van de spreker of een beschreven stem. Zwaar.
-
Pocket TTS Offline
Snel en licht, alleen CPU. 23 stemmen in zeven Europese talen.
-
Sopro Kloon
De eigen stem van de spreker, snel op een CPU. Vier talen.
-
KittenTTS 2 Kloon
De eigen stem van de spreker in 16 talen, op een CPU. Gewichten onder een beperkende licentie.
-
Ming-3.0-tts Kloon
7 talen op 44,1 kHz: gekloonde, ingebouwde of beschreven stemmen, met emotie. Zwaar.
-
Scylla's Band Offline
Veertien stemmen in zes talen, licht en snel op een CPU. Alleen vooraf ingestelde stemmen.
-
Audio8 TTS Kloon
De eigen stem van de spreker in 11 talen, Kantonees inbegrepen. Traag op een CPU.
-
Inflect Offline
Natuurlijke Engelse spraak uit een piepklein model, snel op elke CPU.
-
Paradee Offline
Vier natuurlijke Engelse stemmen, Amerikaans en Brits, uit één model van 8,5 MB.
-
Chatterbox Kloon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…