Nadabuje vaše titulky v 16 jazycích pomocí KittenTTS 2 od KittenML, vlastním hlasem každého mluvčího naklonovaným z videa, nebo jedním ze 115 přednastavených hlasů. Běží na procesoru vašeho vlastního počítače, zhruba v reálném čase, bez grafické karty.

Co dělá

Vlastní hlas mluvčího

Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je s každým řádkem, spolu se slovy, která v nich zazní. KittenTTS 2 tento hlas naklonuje a namluví jím přeložený řádek, takže dabing zní jako osoba na obrazovce.

16 jazyků, 115 hlasů

Angličtina, španělština, francouzština, němčina, italština, portugalština, ruština, čínština, japonština, korejština, arabština, hindština, turečtina, nizozemština, polština a indonéština, každý jazyk s 2 až 50 přednastavenými hlasy.

Zhruba v reálném čase, na CPU

Sekunda řeči trvá na procesoru notebooku 1,1 až 1,5 sekundy a zabere asi 2,3 GB paměti. Grafická karta se nepoužívá.

Offline po prvním řádku

Model se stáhne jednou, když s ním poprvé dabujete. Potom už nic neopustí váš počítač.

Restriktivní licence modelu. Doplněk je pod Apache-2.0, ale váhy KittenTTS 2, které stahuje, patří KittenML a spadají pod Stellon Labs Community License. Komerční použití, včetně placeného dabingu, je zdarma jen tehdy, když vy a vaše přidružené subjekty máte méně než 1 000 000 USD ročních tržeb a méně než 1 000 000 USD celkového financování, a musíte se zaregistrovat u Stellon Labs. Použití musí také odpovídat Acceptable Use Policy, kterou Stellon Labs nezveřejňuje, a licence může být odvolána. Než ho použijete pro placenou práci, přečtěte si licenci. Pokud vám její podmínky nevyhovují, hlasy klonují i VoxCPM2 a Sopro, pod Apache-2.0.

Před instalací

Disk: asi 1,7 GB pro model, stažený při prvním řádku, a dalších 540 MB pro klonování, při prvním klonovaném řádku.
Paměť: asi 2,3 GB během mluvení, takže asi 3 GB volných.
Procesor: u Intel a AMD takový, který má AVX2, FMA a F16C, což procesory Intel mají od roku 2013 a AMD od roku 2015. Některé procesory Celeron, Pentium a Atom je nemají a na nich první řádek selže se zprávou, která to uvede. Funguje každý Mac s Apple Silicon.

Klonujte hlas jen se souhlasem jeho majitele.

Hlasy

V záložce Mluvčí zvolte u mluvčího KittenTTS 2 jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku. Před dabingem nastavte jazyk projektu.

116 hlasů v 16 jazycích.

ar 4
de 4
en 50
es 5
fr 5
hi 5
id 2
it 6
ja 4
ko 3
nl 3
pl 4
pt 6
ru 7
tr 3
zh 4

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího o délce 3 až 12 sekund a pošle ho spolu s textem titulku, který v něm zazní. KittenTTS na tento vzorek naváže, čímž se mluvčímu přiblíží nejvíc a je nejstabilnější. V našem testu, s anglickými vzorky a portugalskými řádky, zněl klonovaný dabing svým mluvčím téměř stejně podobně jako u VoxCPM2 a měl méně chybných slov. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.

Každý přednastavený hlas patří k jednomu jazyku: je to nahrávka a model na ni navazuje s jejím přízvukem. Proto seznam Hlas ukazuje hlasy jazyka vašeho projektu. Angličtina jich má 50, mezi nimi Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki a Leo z KittenTTS 0.8 a postavy jako Marcus, rozhlasový DJ s uhlazeným hlasem, nebo Victoria, vznešená vypravěčka. Ostatní jazyky mají každý 2 až 7 hlasů. KittenML neuvádí, odkud nahrávky pocházejí.

Občas model místo namluvení řádku zmlkne. Doplněk to pozná a zkusí to znovu, až třikrát, takže to nemusíte dělat vy.

Modely

Žádný ze souborů KittenML není uvnitř doplňku: stáhnou se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z repozitáře KittenML na Hugging Face v pevně dané revizi, s každým souborem ověřeným. Referenční enkodér, který ze vzorku udělá hlas, se při prvním klonovaném řádku stáhne z vydání samotného doplňku. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku modely ponechá.

Model	Stažení	Vhodné pro
KittenTTS 2 (1.7B, ternary) Výchozí kitten-tts-2	1.6 GB	Každý hlas a jazyk, na CPU zhruba v reálném čase
Reference encoder, for cloning ref-encoder	517 MB	Jen pro klonovaný hlas, stažený při jeho prvním řádku

Doplněk spouští vlastní program KittenML v C++ pro KittenTTS 2, který je asi čtyřikrát rychlejší než balíček KittenML pro Python a potřebuje třetinu jeho paměti.

Možnosti

V Nastavení › Doplňky › KittenTTS 2 (offline, voice clone, 16 languages) › Nastavit.

Delivery

Výchozí: stable

Stable se hodí téměř pro každý projekt. Expressive je živější a řádek z něj častěji vyjde podivně.

CPU threads

Výchozí: 0

0 použije výkonná jádra procesoru, který má i úsporná jádra, jinak jedno vlákno na jádro, nejvýše 8. Méně vláken nechá počítač během dabingu lépe reagovat.

Fallback reference clip

Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 30 sekund, kdy mluví jedna osoba.

Fallback reference transcript

Výchozí: prázdné

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only

Výchozí: vypnuto

Vynechá slova z klipu mluvčího a naklonuje jen barvu hlasu. Zkuste to, pokud dabing drží přízvuk mluvčího, nebo když titulky parafrázují, co se říká.

Jazyky

Angličtina, španělština, francouzština, němčina, italština, portugalština, ruština, čínština, japonština, korejština, arabština, hindština, turečtina, nizozemština, polština a indonéština. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

Anglický text se čte tak, jak je míněn: v angličtině se z „the 3rd of May“ stane „the third of May“ a z „$12.50“ se stane „twelve dollars fifty“. V ostatních jazycích pište čísla a symboly slovy tam, kde na tom záleží.

en
es
fr
de
it
pt
ru
zh
ja
ko
ar
hi
tr
nl
pl
id

Platformy

Systém	Stažení	Otestováno
Linux x86-64	136.1 MB	Nadabováno skutečným modelem, včetně klonování, na skutečném počítači a v CI
macOS (Apple silicon)	109.2 MB	Nadabováno skutečným modelem, včetně klonování, v CI (Apple Silicon)
Windows x86-64	96.4 MB	Nadabováno skutečným modelem, včetně klonování, v CI

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje s ním, i klonovaným hlasem. Na Linuxu vyžaduje glibc 2.35 nebo novější.

Řešení potíží

network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
disk_fullNa disku není dost místa pro model, asi 1,7 GB, nebo 2,2 GB s klonováním.
unsupported_languageJazyk projektu není žádný z 16, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, které.
internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti. Pokud uvádí, že procesor nemá AVX2, FMA a F16C, tento počítač KittenTTS 2 spustit nemůže. Pokud uvádí, že řádek stále vytvářel ticho, zkuste jiný hlas nebo řádek přeformulujte.

Licence

Doplněk

Apache-2.0

Engine

MIT, Apache-2.0

kitten-tts-2-cpp od KittenML; LibTorch je pod BSD-3-Clause

Referenční enkodér

MIT

Z chatterbox-turbo (ResembleAI) a pyannote

Model

Stellon Labs Community License

Váhy KittenTTS 2; komerční použití zdarma jen pod 1 mil. USD tržeb nebo financování

Doplněk je pod Apache-2.0. Běhové prostředí KittenML je pod MIT a Apache-2.0, LibTorch pod BSD-3-Clause a části referenčního enkodéru pod MIT. Váhy KittenTTS 2 spadají pod Stellon Labs Community License, se kterou souhlasíte, když je doplněk stahuje: zdarma pro výzkum a osobní použití, a pro komerční použití jen pod 1 000 000 USD ročních tržeb i celkového financování, s registrací u Stellon Labs. Váhy a to, co vytvoří, se nesmějí používat k trénování jiných modelů. Dabing, který vytvoříte, je váš. Powered by KittenML.

KittenTTS 2 (offline, voice clone, 16 languages)