Chatterbox hors ligne, clonage de voix, 20 langues

VoixHors ligneCPU uniquementClonage de voixUsage commercial autorisé

Double vos sous-titres en 20 langues avec Chatterbox de Resemble AI, avec la voix de chaque locuteur clonée à partir de quelques secondes de la vidéo, ou avec l'une de 8 voix prédéfinies. Une voix clonée parle toutes les langues, quelle que soit la langue de l'extrait. Tout tourne sur le processeur de votre ordinateur, à peu près en temps réel, sans carte graphique.

Installez-la depuis Subtitld

Paramètres Extensions Chatterbox (offline, voice clone, 20 languages) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
20
Modèles
2
Voix
9
Téléchargement de l'extension
39–62 MB
RAM, au minimum
2 GB

Écouter

Ce qu'elle fait

La voix du locuteur, dans une autre langue

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec chaque réplique. Chatterbox clone cette voix dans n'importe laquelle de ses 20 langues : un acteur portugais peut être doublé en allemand tout en gardant sa propre voix.

Deux modèles

Multilingual parle les 20 langues. Turbo ne parle qu'anglais, sonne plus proche du locuteur, demande moins de mémoire et lit les balises comme [laugh] et [sigh] écrites dans le sous-titre.

Sur n'importe quel ordinateur

Tout tourne sur le processeur à peu près en temps réel, sans carte graphique : une réplique de 10 secondes prend environ 10 secondes.

Libre pour un usage commercial

L'extension est sous Apache-2.0, Chatterbox et ses modèles sous MIT, et les voix prédéfinies sont des lecteurs de LibriVox, dans le domaine public.

Avant d'installer

  • Disque : Multilingual télécharge 1,3 Go à sa première réplique, Turbo 725 Mo.
  • Mémoire : environ 1,7 Go pendant qu'il parle avec Multilingual, environ 1 Go avec Turbo.
  • Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.

Ne clonez une voix qu'avec le consentement de la personne à qui elle appartient. Les versions officielles de Chatterbox marquent leur audio d'un filigrane inaudible ; cette extension ne le fait pas, donc la responsabilité de l'usage d'une voix clonée vous revient.

Voix

Dans l'onglet Locuteurs, choisissez Chatterbox comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

9 voix.

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé. Le meilleur échantillon, ce sont 5 à 20 secondes du locuteur seul, sans musique ni autres voix ; l'extension en utilise les 10 premières secondes.

Voix prédéfinies
Femmes Anglais, portugais, français, allemand
Hommes Anglais, portugais, français, allemand

Chaque voix prédéfinie est celle d'un bénévole de LibriVox qui lit un livre dans cette langue, les mêmes lecteurs que dans l'extension Sopro. Toutes les voix prédéfinies parlent les 20 langues ; leur propre langue ne leur donne qu'un accent, alors choisissez celle qui est la plus proche de la langue de votre projet pour le doublage le plus naturel.

Modèles

Aucun des deux modèles n'est inclus dans l'extension : celui que vous utilisez se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve les modèles.

ModèleLangue TéléchargementIdéal pour
Chatterbox Multilingual (0.5B, 4-bit ONNX) Par défaut multilingual
1.3 GB
Les 20 langues ; le modèle par défaut
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Anglais seulement : plus proche du locuteur, moins de mémoire, et lit [laugh], [sigh] et [cough]

L'extension exécute des exports ONNX de Chatterbox, sans PyTorch. Dans notre test de 10 phrases en anglais, portugais, français, allemand, espagnol, italien, russe et polonais, chacune clonée à partir de deux voix, Multilingual s'est trompé sur 2,4 % des mots et ressemblait au locuteur ; Turbo n'a fait aucune erreur en anglais et ressemblait encore davantage au locuteur.

Options

Dans Paramètres › Extensions › Chatterbox (offline, voice clone, 20 languages) › Configurer.

Model
Par défaut : multilingual

Turbo ne parle qu'anglais. Avec Turbo choisi, les répliques dans d'autres langues sont dites par Multilingual. Un seul modèle est en mémoire à la fois.

Expressiveness
Par défaut : 0.5

Multilingual seulement : la quantité d'émotion que la voix y met. 0,5 est la valeur par défaut de Chatterbox lui-même ; plus haut, c'est plus dramatique et le débit tend à s'accélérer.

CPU threads
Par défaut : 0

0 utilise la moitié des processeurs logiques de l'ordinateur, 8 au maximum. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 5 à 20 secondes d'une seule personne qui parle.

Langues

Allemand, anglais, arabe, coréen, danois, espagnol, finnois, français, grec, hindi, italien, malais, néerlandais, norvégien, polonais, portugais, russe, suédois, swahili et turc. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

Chatterbox connaît aussi l'hébreu, le japonais et le chinois, que l'extension laisse de côté : l'hébreu demande un second modèle pour ajouter ses points-voyelles, le japonais un convertisseur dont la licence n'autorise pas à l'inclure, et le chinois sortait brouillé dans nos tests.

Écrivez les nombres et les symboles en toutes lettres quand c'est important. Une réplique est dite d'une traite, jusqu'à 40 secondes de parole.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Plateformes

Système TéléchargementTesté
Linux x86-64 62.5 MBDoublé avec les deux modèles sur une vraie machine, et dans Subtitld lui-même
macOS (Apple silicon) 43.7 MBEn CI, l'extension installée télécharge un modèle et double avec lui (Apple Silicon)
Windows x86-64 38.7 MBEn CI, l'extension installée télécharge un modèle et double avec lui

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge un modèle et double avec lui.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle : 1,3 Go pour Multilingual, 725 Mo pour Turbo.
  • unsupported_languageLa langue du projet ne fait pas partie des 20, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
  • out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes, ou choisissez Turbo pour l'anglais : il a besoin d'environ 1 Go.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
Moteur
MIT
Chatterbox, par Resemble AI ; ONNX Runtime est sous MIT
Modèle
MIT
poids de Chatterbox Multilingual et Turbo, dans leurs exports ONNX
Voix prédéfinies
Public domain, CC-BY-4.0
lecteurs de LibriVox ; les voix anglaises via LibriTTS-R

Utilisable pour un usage commercial : l'extension est sous Apache-2.0, Chatterbox et les deux modèles sous MIT. Les voix prédéfinies sont des enregistrements de LibriVox, dans le domaine public ; les voix anglaises proviennent de LibriTTS-R, sous CC-BY-4.0, et l'extension crédite chacune d'elles. Les doublages que vous faites vous appartiennent.

Versions

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Autres extensions Voix