Double vos sous-titres dans 16 langues avec KittenTTS 2 de KittenML, avec la voix de chaque locuteur clonée depuis la vidéo, ou avec l'une de 115 voix intégrées. Tout tourne sur le processeur de votre ordinateur, à peu près en temps réel, sans carte graphique.

Ce qu'elle fait

La voix du locuteur

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec chaque réplique, accompagnées des paroles qui y sont prononcées. KittenTTS 2 clone cette voix et dit la réplique traduite avec elle, si bien que le doublage sonne comme la personne à l'écran.

16 langues, 115 voix

Anglais, espagnol, français, allemand, italien, portugais, russe, chinois, japonais, coréen, arabe, hindi, turc, néerlandais, polonais et indonésien, avec 2 à 50 voix intégrées chacune.

À peu près en temps réel, sur un CPU

Une seconde de parole demande 1,1 à 1,5 seconde de calcul sur le processeur d'un ordinateur portable, avec environ 2,3 Go de mémoire. Aucune carte graphique n'est utilisée.

Hors ligne après la première réplique

Le modèle se télécharge une seule fois, la première fois que vous doublez avec lui. Ensuite, rien ne quitte votre ordinateur.

Une licence restrictive sur le modèle. L'extension est sous Apache-2.0, mais les poids de KittenTTS 2 qu'elle télécharge appartiennent à KittenML et sont sous Stellon Labs Community License. L'usage commercial, doublage rémunéré compris, n'est gratuit que tant que vous et vos sociétés affiliées avez moins de 1 000 000 $ US de chiffre d'affaires annuel et moins de 1 000 000 $ US de financement total, et vous devez vous enregistrer auprès de Stellon Labs. L'usage doit aussi respecter une politique d'utilisation acceptable que Stellon Labs ne publie pas, et la licence peut être révoquée. Lisez la licence avant de l'utiliser pour un travail rémunéré. Si ses conditions ne vous conviennent pas, VoxCPM2 et Sopro clonent aussi les voix, sous Apache-2.0.

Avant d'installer

Disque : environ 1,7 Go pour le modèle, téléchargé à la première réplique, et 540 Mo de plus pour le clonage, à la première réplique clonée.
Mémoire : environ 2,3 Go pendant qu'il parle, donc environ 3 Go libres.
Processeur : chez Intel et AMD, un processeur avec AVX2, FMA et F16C, que les processeurs Intel ont depuis 2013 et les AMD depuis 2015. Certains Celeron, Pentium et Atom ne les ont pas, et la première réplique y échoue avec un message qui le dit. Tous les Mac Apple Silicon fonctionnent.

Ne clonez une voix qu'avec le consentement de la personne à qui elle appartient.

Voix

Dans l'onglet Locuteurs, choisissez KittenTTS 2 comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre. Réglez la langue du projet avant de doubler.

116 voix en 16 langues.

ar 4
de 4
en 50
es 5
fr 5
hi 5
id 2
it 6
ja 4
ko 3
nl 3
pl 4
pt 6
ru 7
tr 3
zh 4

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, de 3 à 12 secondes, et l'envoie avec le texte du sous-titre qui y est prononcé. KittenTTS poursuit à partir de cet échantillon, ce qui ressemble le plus au locuteur et donne le résultat le plus stable. Lors de notre test, avec des échantillons en anglais et des répliques en portugais, les doublages clonés ressemblaient presque autant à leurs locuteurs que ceux de VoxCPM2, avec moins de mots erronés. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

Chaque voix intégrée appartient à une langue : c'est un enregistrement, et le modèle poursuit avec son accent. La liste Voix montre donc les voix de la langue de votre projet. L'anglais en a 50, dont Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki et Leo, issues de KittenTTS 0.8, et des personnages comme Marcus, un animateur radio à la voix douce, ou Victoria, une narratrice majestueuse. Les autres langues en ont 2 à 7 chacune. KittenML ne dit pas d'où viennent les enregistrements.

De temps en temps, le modèle reste silencieux au lieu de dire une réplique. L'extension s'en aperçoit et réessaie, jusqu'à trois fois, pour que vous n'ayez pas à le faire.

Modèles

Aucun fichier de KittenML n'est inclus dans l'extension : ils se téléchargent dans le cache de modèles partagé de Subtitld au premier doublage, depuis le dépôt Hugging Face de KittenML à une révision fixée, chaque fichier vérifié. L'encodeur de référence, qui transforme un échantillon en voix, vient de la version publiée de l'extension elle-même, à la première réplique clonée. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve les modèles.

Modèle	Téléchargement	Idéal pour
KittenTTS 2 (1.7B, ternary) Par défaut kitten-tts-2	1.6 GB	Toutes les voix et les langues, à peu près en temps réel sur un CPU
Reference encoder, for cloning ref-encoder	517 MB	Seulement pour la voix clonée, téléchargé à sa première réplique

L'extension exécute le programme C++ de KittenML pour KittenTTS 2, environ quatre fois plus rapide que le paquet Python de KittenML et qui a besoin du tiers de sa mémoire.

Options

Dans Paramètres › Extensions › KittenTTS 2 (offline, voice clone, 16 languages) › Configurer.

Delivery

Par défaut : stable

Stable convient à presque tous les projets. Expressive est plus vivant, et une réplique sort bizarre plus souvent.

CPU threads

Par défaut : 0

0 utilise les cœurs performance d'un processeur qui a aussi des cœurs efficacité, sinon un thread par cœur, 8 au maximum. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.

Fallback reference clip

Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 30 secondes d'une seule personne qui parle.

Fallback reference transcript

Par défaut : vide

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only

Par défaut : désactivé

Laisse de côté les paroles de l'extrait du locuteur et ne clone que le timbre. Essayez-le si un doublage garde l'accent du locuteur, ou quand les sous-titres paraphrasent ce qui est dit.

Langues

Anglais, espagnol, français, allemand, italien, portugais, russe, chinois, japonais, coréen, arabe, hindi, turc, néerlandais, polonais et indonésien. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

Le texte anglais est lu comme il faut : « the 3rd of May » devient « the third of May », « $12.50 » devient « twelve dollars fifty ». Dans les autres langues, écrivez les nombres et les symboles en toutes lettres quand c'est important.

en
es
fr
de
it
pt
ru
zh
ja
ko
ar
hi
tr
nl
pl
id

Plateformes

Système	Téléchargement	Testé
Linux x86-64	136.1 MB	Doublé avec le vrai modèle, clonage compris, sur une vraie machine et en CI
macOS (Apple silicon)	109.2 MB	Doublé avec le vrai modèle, clonage compris, en CI (Apple Silicon)
Windows x86-64	96.4 MB	Doublé avec le vrai modèle, clonage compris, en CI

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge le modèle et double avec lui, y compris avec une voix clonée. Sous Linux, il faut glibc 2.35 ou plus récent.

Dépannage

network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
disk_fullPas assez d'espace disque pour le modèle, environ 1,7 Go, ou 2,2 Go avec le clonage.
unsupported_languageLa langue du projet ne fait pas partie des 16, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
internalQuelque chose a échoué dans l'extension ; le message donne les détails. S'il dit que le processeur n'a pas AVX2, FMA et F16C, cet ordinateur ne peut pas exécuter KittenTTS 2. S'il dit que la réplique restait silencieuse, essayez une autre voix ou reformulez la réplique.

Licence

Extension

Apache-2.0

Moteur

MIT, Apache-2.0

kitten-tts-2-cpp, par KittenML ; LibTorch est sous BSD-3-Clause

Encodeur de référence

MIT

issu de chatterbox-turbo (ResembleAI) et de pyannote

Modèle

Stellon Labs Community License

poids de KittenTTS 2 ; usage commercial gratuit seulement sous 1 million de dollars US de chiffre d'affaires ou de financement

L'extension est sous Apache-2.0. Le runtime de KittenML est sous MIT et Apache-2.0, LibTorch sous BSD-3-Clause, et les composants de l'encodeur de référence sous MIT. Les poids de KittenTTS 2 sont sous Stellon Labs Community License, que vous acceptez quand l'extension les télécharge : gratuits pour la recherche et l'usage personnel, et pour un usage commercial seulement sous 1 000 000 $ US de chiffre d'affaires annuel et de financement total, avec un enregistrement auprès de Stellon Labs. Les poids et ce qu'ils produisent ne peuvent pas servir à entraîner d'autres modèles. Les doublages que vous faites vous appartiennent. Powered by KittenML.

KittenTTS 2 (offline, voice clone, 16 languages)