Chatterbox offline, stemklonen, 20 talen
Spreekt uw ondertitels in 20 talen in met Chatterbox van Resemble AI, in de eigen stem van elke spreker, gekloond uit een paar seconden van de video, of in een van 8 vooraf ingestelde stemmen. Een gekloonde stem spreekt elke taal, in welke taal de clip ook is. Het draait op de processor van uw eigen computer, ongeveer in realtime, zonder videokaart.
Instellingen Add-ons Chatterbox (offline, voice clone, 20 languages) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Talen
- 20
- Modellen
- 2
- Stemmen
- 9
- Download van de add-on
- 39–62 MB
- RAM, minimaal
- 2 GB
Beluisteren
Wat het doet
Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met elke regel. Chatterbox kloont die stem in elk van zijn 20 talen, zodat een Portugese acteur in het Duits kan worden nagesynchroniseerd en toch als zichzelf klinkt.
Multilingual spreekt alle 20 talen. Turbo spreekt alleen Engels, klinkt dichter bij de spreker, heeft minder geheugen nodig en leest tags als [laugh] en [sigh] die in de ondertitel staan.
Het draait op de processor, ongeveer in realtime, zonder videokaart: een regel van 10 seconden duurt ongeveer 10 seconden.
De add-on is Apache-2.0, Chatterbox en zijn modellen zijn MIT, en de vooraf ingestelde stemmen zijn voorlezers van LibriVox, in het publieke domein.
Voordat u installeert
- Schijf: Multilingual downloadt 1,3 GB bij zijn eerste regel, Turbo 725 MB.
- Geheugen: ongeveer 1,7 GB terwijl het spreekt met Multilingual, ongeveer 1 GB met Turbo.
- Processor: elke 64-bits processor van Intel of AMD, of Apple Silicon. Er wordt geen videokaart gebruikt.
Kloon een stem alleen met toestemming van de eigenaar. De eigen builds van Chatterbox voorzien hun audio van een onhoorbaar watermerk; deze add-on doet dat niet, dus de verantwoordelijkheid voor hoe een gekloonde stem wordt gebruikt, ligt bij u.
Stemmen
Kies in het tabblad Sprekers Chatterbox als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.
9 stemmen.
Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels of uit meerdere korte, samengevoegd. Heeft u voor deze video muziek en stem gescheiden, dan komt het voorbeeld alleen uit de stem. Fallback reference clip in de instellingen van de add-on wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden. Het beste voorbeeld is 5 tot 20 seconden van alleen de spreker, zonder muziek of andere stemmen; de add-on gebruikt er de eerste 10 seconden van.
| Vooraf ingestelde stemmen | |
|---|---|
| Vrouwen | Engels, Portugees, Frans, Duits |
| Mannen | Engels, Portugees, Frans, Duits |
Elke vooraf ingestelde stem is een vrijwilliger van LibriVox die een boek in die taal voorleest, dezelfde voorlezers als in de Sopro-add-on. Elke stem spreekt alle 20 talen; de eigen taal geeft hem alleen een accent, dus kies de stem die het dichtst bij de taal van uw project ligt voor de natuurlijkste dub.
Modellen
Geen van beide modellen zit in de add-on: het model dat u gebruikt, wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, elk bestand gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijven de modellen bewaard.
| Model | Taal | Download | Geschikt voor |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Standaard multilingual | | Alle 20 talen; de standaard | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Alleen Engels: dichter bij de spreker, minder geheugen, en leest [laugh], [sigh] en [cough] |
De add-on draait ONNX-exports van Chatterbox, zonder PyTorch. In onze test met 10 zinnen in het Engels, Portugees, Frans, Duits, Spaans, Italiaans, Russisch en Pools, elk gekloond uit twee stemmen, sprak Multilingual 2,4% van de woorden verkeerd uit en klonk het dicht bij de spreker; Turbo maakte in het Engels geen enkele fout en klonk nog dichter bij de spreker.
Opties
In Instellingen › Add-ons › Chatterbox (offline, voice clone, 20 languages) › Configureren.
multilingualTurbo spreekt alleen Engels. Met Turbo gekozen worden regels in andere talen door Multilingual uitgesproken. Er staat maar één model tegelijk in het geheugen.
0.5Alleen Multilingual: hoeveel emotie de stem erin legt. 0,5 is de eigen standaardwaarde van Chatterbox; hoger is dramatischer en spreekt vaak sneller.
0Bij 0 wordt de helft van de logische processors van de computer gebruikt, maximaal 8. Minder threads houden de computer vlotter terwijl hij nasynchroniseert.
Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 5 tot 20 seconden van één persoon die spreekt.
Talen
Arabisch, Deens, Nederlands, Engels, Fins, Frans, Duits, Grieks, Hindi, Italiaans, Koreaans, Maleis, Noors, Pools, Portugees, Russisch, Spaans, Swahili, Zweeds en Turks. Een project in een andere taal krijgt een bericht dat dat zegt: kies daarvoor een andere nasynchronisatie-engine.
Chatterbox kent ook Hebreeuws, Japans en Chinees, die de add-on weglaat: Hebreeuws heeft een tweede model nodig om de klinkertekens toe te voegen, Japans heeft een converter nodig waarvan de licentie niet toestaat dat hij wordt meegeleverd, en Chinees kwam in onze tests onverstaanbaar uit.
Schrijf getallen en symbolen waar het ertoe doet uit in woorden. Een regel wordt in één keer uitgesproken, tot 40 seconden spraak.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Platforms
| Systeem | Download | Getest |
|---|---|---|
| Linux x86-64 | 62.5 MB | Nagesynchroniseerd met beide modellen op een echte computer, en in Subtitld zelf |
| macOS (Apple silicon) | 43.7 MB | In CI downloadt de geïnstalleerde add-on een model en synchroniseert ermee na (Apple Silicon) |
| Windows x86-64 | 38.7 MB | In CI downloadt de geïnstalleerde add-on een model en synchroniseert ermee na |
Linux x86-64, macOS op Apple Silicon en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt een model en synchroniseert ermee na.
Problemen oplossen
network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.disk_fullNiet genoeg schijfruimte voor het model: 1,3 GB voor Multilingual, 725 MB voor Turbo.unsupported_languageDe taal van het project is niet een van de 20, of is niet ingesteld. Stel hem in het project in, of kies een andere nasynchronisatie-engine.unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.bad_paramsDe regel heeft geen tekst, of de gekloonde stem kreeg geen voorbeeld: open de video, of stel een Fallback reference clip in. Het bericht zegt welke.out_of_memoryDe computer heeft onvoldoende geheugen. Sluit andere programma's, of kies Turbo voor Engels: dat heeft ongeveer 1 GB nodig.internalEr ging iets mis in de add-on; het bericht bevat de details.
Licentie
Geschikt voor commercieel werk: de add-on is Apache-2.0, en Chatterbox en beide modellen zijn MIT. De vooraf ingestelde stemmen zijn opnames van LibriVox, in het publieke domein; de Engelse komen via LibriTTS-R, onder CC-BY-4.0, en de add-on vermeldt elke opname. De dubs die u maakt, zijn van u.
Versies
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Andere add-ons voor Stemmen
-
Piper Offline
158 offline stemmen in 49 talen, elk een apart klein downloadbestand.
-
Kokoro Offline
54 offline stemmen in negen talen, allemaal uit één model van 82 MB.
-
Supertonic Offline
Tien offline stemmen, die elk alle 31 talen kunnen spreken.
-
sanoTTS Offline
Kleine offline stemmen, 28 in 14 talen, elk kleiner dan 10 MB.
-
Parler-TTS Offline
Engelse stemmen die een geschreven beschrijving volgen; 34 benoemde sprekers.
-
Qwen3-TTS Kloon
Tien talen, negen stemmen, en klonen vanaf 3 seconden van een spreker.
-
Coqui XTTS Kloon
Stemkloon in 16 talen, met een niet-commerciële modellicentie.
-
F5-TTS Kloon
Alleen stemkloon, in Engels en Chinees; niet-commercieel model.
-
VoxCPM2 Kloon
30 talen op 48 kHz, in de eigen stem van de spreker of een beschreven stem. Zwaar.
-
Pocket TTS Offline
Snel en licht, alleen CPU. 23 stemmen in zeven Europese talen.
-
Sopro Kloon
De eigen stem van de spreker, snel op een CPU. Vier talen.
-
KittenTTS 2 Kloon
De eigen stem van de spreker in 16 talen, op een CPU. Gewichten onder een beperkende licentie.
-
Ming-3.0-tts Kloon
7 talen op 44,1 kHz: gekloonde, ingebouwde of beschreven stemmen, met emotie. Zwaar.
-
Scylla's Band Offline
Veertien stemmen in zes talen, licht en snel op een CPU. Alleen vooraf ingestelde stemmen.
-
Audio8 TTS Kloon
De eigen stem van de spreker in 23 talen, Kantonees en Arabisch inbegrepen. Traag op een CPU.
-
Inflect Offline
Natuurlijke Engelse spraak uit een piepklein model, snel op elke CPU.
-
Paradee Offline
Vier natuurlijke Engelse stemmen, Amerikaans en Brits, uit één model van 8,5 MB.
-
BlueTTS Kloon
Hebreeuws en Jiddisch, plus vijf andere talen. De eigen stem van de spreker, snel op een CPU.
-
ZONOS3-Mini Kloon
43 talen, van Arabisch tot Vietnamees. De eigen stem van de spreker, op een CPU.
-
Reverb Kloon
Zeven Europese talen en de eigen stem van de spreker, op een CPU; niet-commercieel model.
-
OmniVoice Kloon
646 talen, de eigen stem van de spreker over talen heen; niet-commercieel model.
-
VoxMel Kloon
Engels en Mandarijn, met nauwkeurige klonen van de eigen stem van de spreker.
-
tiny-voca Offline
Twee Amerikaans-Engelse stemmen uit een model van 4,5 miljoen parameters, zonder iets te downloaden.