Chatterbox hors ligne, clonage de voix, 20 langues
Double vos sous-titres en 20 langues avec Chatterbox de Resemble AI, avec la voix de chaque locuteur clonée à partir de quelques secondes de la vidéo, ou avec l'une de 8 voix prédéfinies. Une voix clonée parle toutes les langues, quelle que soit la langue de l'extrait. Tout tourne sur le processeur de votre ordinateur, à peu près en temps réel, sans carte graphique.
Paramètres Extensions Chatterbox (offline, voice clone, 20 languages) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Langues
- 20
- Modèles
- 2
- Voix
- 9
- Téléchargement de l'extension
- 39–62 MB
- RAM, au minimum
- 2 GB
Écouter
Ce qu'elle fait
Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec chaque réplique. Chatterbox clone cette voix dans n'importe laquelle de ses 20 langues : un acteur portugais peut être doublé en allemand tout en gardant sa propre voix.
Multilingual parle les 20 langues. Turbo ne parle qu'anglais, sonne plus proche du locuteur, demande moins de mémoire et lit les balises comme [laugh] et [sigh] écrites dans le sous-titre.
Tout tourne sur le processeur à peu près en temps réel, sans carte graphique : une réplique de 10 secondes prend environ 10 secondes.
L'extension est sous Apache-2.0, Chatterbox et ses modèles sous MIT, et les voix prédéfinies sont des lecteurs de LibriVox, dans le domaine public.
Avant d'installer
- Disque : Multilingual télécharge 1,3 Go à sa première réplique, Turbo 725 Mo.
- Mémoire : environ 1,7 Go pendant qu'il parle avec Multilingual, environ 1 Go avec Turbo.
- Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.
Ne clonez une voix qu'avec le consentement de la personne à qui elle appartient. Les versions officielles de Chatterbox marquent leur audio d'un filigrane inaudible ; cette extension ne le fait pas, donc la responsabilité de l'usage d'une voix clonée vous revient.
Voix
Dans l'onglet Locuteurs, choisissez Chatterbox comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.
9 voix.
Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé. Le meilleur échantillon, ce sont 5 à 20 secondes du locuteur seul, sans musique ni autres voix ; l'extension en utilise les 10 premières secondes.
| Voix prédéfinies | |
|---|---|
| Femmes | Anglais, portugais, français, allemand |
| Hommes | Anglais, portugais, français, allemand |
Chaque voix prédéfinie est celle d'un bénévole de LibriVox qui lit un livre dans cette langue, les mêmes lecteurs que dans l'extension Sopro. Toutes les voix prédéfinies parlent les 20 langues ; leur propre langue ne leur donne qu'un accent, alors choisissez celle qui est la plus proche de la langue de votre projet pour le doublage le plus naturel.
Modèles
Aucun des deux modèles n'est inclus dans l'extension : celui que vous utilisez se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve les modèles.
| Modèle | Langue | Téléchargement | Idéal pour |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Par défaut multilingual | | Les 20 langues ; le modèle par défaut | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Anglais seulement : plus proche du locuteur, moins de mémoire, et lit [laugh], [sigh] et [cough] |
L'extension exécute des exports ONNX de Chatterbox, sans PyTorch. Dans notre test de 10 phrases en anglais, portugais, français, allemand, espagnol, italien, russe et polonais, chacune clonée à partir de deux voix, Multilingual s'est trompé sur 2,4 % des mots et ressemblait au locuteur ; Turbo n'a fait aucune erreur en anglais et ressemblait encore davantage au locuteur.
Options
Dans Paramètres › Extensions › Chatterbox (offline, voice clone, 20 languages) › Configurer.
multilingualTurbo ne parle qu'anglais. Avec Turbo choisi, les répliques dans d'autres langues sont dites par Multilingual. Un seul modèle est en mémoire à la fois.
0.5Multilingual seulement : la quantité d'émotion que la voix y met. 0,5 est la valeur par défaut de Chatterbox lui-même ; plus haut, c'est plus dramatique et le débit tend à s'accélérer.
00 utilise la moitié des processeurs logiques de l'ordinateur, 8 au maximum. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.
Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 5 à 20 secondes d'une seule personne qui parle.
Langues
Allemand, anglais, arabe, coréen, danois, espagnol, finnois, français, grec, hindi, italien, malais, néerlandais, norvégien, polonais, portugais, russe, suédois, swahili et turc. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.
Chatterbox connaît aussi l'hébreu, le japonais et le chinois, que l'extension laisse de côté : l'hébreu demande un second modèle pour ajouter ses points-voyelles, le japonais un convertisseur dont la licence n'autorise pas à l'inclure, et le chinois sortait brouillé dans nos tests.
Écrivez les nombres et les symboles en toutes lettres quand c'est important. Une réplique est dite d'une traite, jusqu'à 40 secondes de parole.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Plateformes
| Système | Téléchargement | Testé |
|---|---|---|
| Linux x86-64 | 62.5 MB | Doublé avec les deux modèles sur une vraie machine, et dans Subtitld lui-même |
| macOS (Apple silicon) | 43.7 MB | En CI, l'extension installée télécharge un modèle et double avec lui (Apple Silicon) |
| Windows x86-64 | 38.7 MB | En CI, l'extension installée télécharge un modèle et double avec lui |
Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge un modèle et double avec lui.
Dépannage
network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.disk_fullPas assez d'espace disque pour le modèle : 1,3 Go pour Multilingual, 725 Mo pour Turbo.unsupported_languageLa langue du projet ne fait pas partie des 20, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes, ou choisissez Turbo pour l'anglais : il a besoin d'environ 1 Go.internalQuelque chose a échoué dans l'extension ; le message donne les détails.
Licence
Utilisable pour un usage commercial : l'extension est sous Apache-2.0, Chatterbox et les deux modèles sous MIT. Les voix prédéfinies sont des enregistrements de LibriVox, dans le domaine public ; les voix anglaises proviennent de LibriTTS-R, sous CC-BY-4.0, et l'extension crédite chacune d'elles. Les doublages que vous faites vous appartiennent.
Versions
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Autres extensions Voix
-
Piper Hors ligne
158 voix hors ligne en 49 langues, chacune un petit téléchargement à part.
-
Kokoro Hors ligne
54 voix hors ligne en neuf langues, toutes issues d'un seul modèle de 82 Mo.
-
Supertonic Hors ligne
Dix voix hors ligne, chacune capable de parler ses 31 langues.
-
sanoTTS Hors ligne
Petites voix hors ligne, 28 en 14 langues, chacune de moins de 10 Mo.
-
Parler-TTS Hors ligne
Voix anglaises qui suivent une description écrite ; 34 locuteurs nommés.
-
Qwen3-TTS Clonage
Dix langues, neuf voix, et clonage à partir de 3 secondes d'un locuteur.
-
Coqui XTTS Clonage
Clonage de voix en 16 langues, avec une licence de modèle non commerciale.
-
F5-TTS Clonage
Clonage de voix uniquement, en anglais et en chinois ; modèle non commercial.
-
VoxCPM2 Clonage
30 langues en 48 kHz, avec la voix du locuteur ou une voix décrite. Gourmand.
-
Pocket TTS Hors ligne
Rapide et léger, CPU seulement. 23 voix dans sept langues européennes.
-
Sopro Clonage
La voix du locuteur, rapide sur un CPU. Quatre langues.
-
KittenTTS 2 Clonage
La voix du locuteur dans 16 langues, sur un CPU. Poids sous une licence restrictive.
-
Ming-3.0-tts Clonage
7 langues en 44,1 kHz : voix clonées, intégrées ou décrites, avec émotion. Gourmand.
-
Scylla's Band Hors ligne
Quatorze voix en six langues, léger et rapide sur un CPU. Voix intégrées uniquement.
-
Audio8 TTS Clonage
La voix du locuteur en 23 langues, cantonais et arabe compris. Lent sur un CPU.
-
Inflect Hors ligne
Une voix anglaise naturelle issue d'un tout petit modèle, rapide sur n'importe quel CPU.
-
Paradee Hors ligne
Quatre voix anglaises naturelles, américaines et britanniques, issues d'un seul modèle de 8,5 Mo.
-
BlueTTS Clonage
L'hébreu et le yiddish, plus cinq autres langues. La voix du locuteur, rapide sur un CPU.
-
ZONOS3-Mini Clonage
43 langues, de l'arabe au vietnamien. La voix du locuteur, sur un CPU.
-
Reverb Clonage
Sept langues européennes et la voix du locuteur, sur un CPU ; modèle non commercial.
-
OmniVoice Clonage
646 langues, la voix du locuteur d'une langue à l'autre ; modèle non commercial.
-
VoxMel Clonage
Anglais et mandarin, avec des clones fidèles de la voix du locuteur.
-
tiny-voca Hors ligne
Deux voix en anglais américain issues d'un modèle de 4,5 millions de paramètres, sans rien à télécharger.