Dubbinguje twoje napisy w 16 językach za pomocą KittenTTS 2 od KittenML, własnym głosem każdego mówcy, sklonowanym z wideo, albo jednym ze 115 gotowych głosów. Działa na procesorze twojego komputera, mniej więcej w czasie rzeczywistym, bez karty graficznej.

Co robi

Własny głos mówcy

Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je z każdą kwestią, razem ze słowami w nich wypowiedzianymi. KittenTTS 2 klonuje ten głos i wypowiada nim przetłumaczoną kwestię, więc dubbing brzmi jak osoba na ekranie.

16 języków, 115 głosów

Angielski, hiszpański, francuski, niemiecki, włoski, portugalski, rosyjski, chiński, japoński, koreański, arabski, hindi, turecki, niderlandzki, polski i indonezyjski, każdy z 2 do 50 gotowymi głosami.

Mniej więcej w czasie rzeczywistym, na procesorze

Wygenerowanie sekundy mowy zajmuje od 1,1 do 1,5 sekundy na procesorze laptopa, przy około 2,3 GB pamięci. Karta graficzna nie jest używana.

Offline po pierwszej kwestii

Model pobiera się raz, przy pierwszym dubbingu z jego użyciem. Potem nic nie opuszcza twojego komputera.

Restrykcyjna licencja modelu. Dodatek jest na licencji Apache-2.0, ale wagi KittenTTS 2, które pobiera, należą do KittenML i są objęte Stellon Labs Community License. Użytek komercyjny, w tym płatny dubbing, jest darmowy tylko dopóki ty i twoje podmioty powiązane macie mniej niż 1 000 000 USD rocznego przychodu i mniej niż 1 000 000 USD łącznego finansowania, a do tego musisz zarejestrować się w Stellon Labs. Użycie musi też być zgodne z Acceptable Use Policy, której Stellon Labs nie publikuje, a licencja może zostać cofnięta. Przeczytaj licencję, zanim użyjesz go do płatnej pracy. Jeśli jej warunki ci nie odpowiadają, VoxCPM2 i Sopro też klonują głosy, na licencji Apache-2.0.

Przed instalacją

Dysk: około 1,7 GB na model, pobierany przy pierwszej kwestii, i dodatkowe 540 MB na klonowanie, przy pierwszej klonowanej kwestii.
Pamięć: około 2,3 GB podczas mówienia, więc około 3 GB wolnej.
Procesor: w przypadku Intel i AMD taki z AVX2, FMA i F16C, które procesory Intel mają od 2013 roku, a AMD od 2015. Niektórym procesorom Celeron, Pentium i Atom ich brakuje, i tam pierwsza kwestia kończy się błędem z komunikatem, który to mówi. Każdy Mac z Apple Silicon działa.

Klonuj głos tylko za zgodą jego właściciela.

Głosy

W karcie Mówcy wybierz KittenTTS 2 jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu. Przed dubbingiem ustaw język projektu.

116 głosów w 16 językach.

ar 4
de 4
en 50
es 5
fr 5
hi 5
id 2
it 6
ja 4
ko 3
nl 3
pl 4
pt 6
ru 7
tr 3
zh 4

Z Speaker's own voice Subtitld wycina z dźwięku projektu próbkę tego mówcy, od 3 do 12 sekund, i wysyła ją razem z tekstem napisu, który w niej pada. KittenTTS kontynuuje tę próbkę, co najbardziej zbliża go do mówcy i daje najstabilniejszy wynik. W naszym teście, z angielskimi próbkami i portugalskimi kwestiami, sklonowany dubbing brzmiał niemal tak podobnie do mówców jak w VoxCPM2 i zawierał mniej błędnych słów. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

Każdy gotowy głos należy do jednego języka: to nagranie, a model kontynuuje je z jego akcentem. Dlatego lista Głos pokazuje głosy w języku twojego projektu. Angielski ma ich 50, wśród nich Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki i Leo z KittenTTS 0.8 oraz postacie takie jak Marcus, radiowy DJ o gładkim głosie, czy Victoria, dostojna narratorka. Pozostałe języki mają od 2 do 7 głosów. KittenML nie podaje, skąd pochodzą nagrania.

Od czasu do czasu model milknie zamiast wypowiedzieć kwestię. Dodatek to zauważa i próbuje ponownie, do trzech razy, więc nie musisz tego robić sam.

Modele

Żadnego z plików KittenML nie ma w dodatku: pobierają się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z repozytorium KittenML na Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Enkoder referencyjny, który zamienia próbkę w głos, pochodzi z wydania samego dodatku i pobiera się przy pierwszej klonowanej kwestii. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje modele.

Model	Pobranie	Dobry do
KittenTTS 2 (1.7B, ternary) Domyślne kitten-tts-2	1.6 GB	Każdy głos i język, mniej więcej w czasie rzeczywistym na procesorze
Reference encoder, for cloning ref-encoder	517 MB	Tylko dla głosu klonowanego, pobierany przy jego pierwszej kwestii

Dodatek uruchamia własny program C++ od KittenML dla KittenTTS 2, który jest około czterech razy szybszy niż pakiet Python od KittenML i potrzebuje jednej trzeciej jego pamięci.

Opcje

W Ustawieniach › Dodatki › KittenTTS 2 (offline, voice clone, 16 languages) › Konfiguruj.

Delivery

Domyślnie: stable

Stable pasuje do niemal każdego projektu. Expressive jest żywszy, a kwestia częściej wychodzi dziwnie.

CPU threads

Domyślnie: 0

0 używa rdzeni wydajnościowych procesora, który ma też rdzenie energooszczędne, a w innym przypadku jednego wątku na rdzeń, najwyżej 8. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.

Fallback reference clip

Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 30 sekund mowy jednej osoby.

Fallback reference transcript

Domyślnie: pusty

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only

Domyślnie: wył.

Pomija słowa z klipu mówcy i klonuje tylko barwę głosu. Wypróbuj, jeśli dubbing zachowuje akcent mówcy albo gdy napisy parafrazują to, co zostało powiedziane.

Języki

Tekst angielski jest czytany tak, jak powinien: po angielsku „the 3rd of May” staje się „the third of May”, a „$12.50” staje się „twelve dollars fifty”. W pozostałych językach, tam gdzie to ma znaczenie, zapisuj liczby i symbole słownie.

en
es
fr
de
it
pt
ru
zh
ja
ko
ar
hi
tr
nl
pl
id

Platformy

System	Pobranie	Przetestowano
Linux x86-64	136.1 MB	Dubbing prawdziwym modelem, z klonowaniem, na prawdziwej maszynie i w CI
macOS (Apple silicon)	109.2 MB	Dubbing prawdziwym modelem, z klonowaniem, w CI (Apple Silicon)
Windows x86-64	96.4 MB	Dubbing prawdziwym modelem, z klonowaniem, w CI

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi nim dubbing, także sklonowanym głosem. Na Linuksie wymaga glibc 2.35 lub nowszej.

Rozwiązywanie problemów

network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
disk_fullZa mało miejsca na dysku na model, około 1,7 GB, albo 2,2 GB z klonowaniem.
unsupported_languageJęzyk projektu nie jest jednym z 16 albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły. Jeśli mówi, że procesorowi brakuje AVX2, FMA i F16C, ten komputer nie może uruchomić KittenTTS 2. Jeśli mówi, że kwestia wciąż dawała ciszę, wypróbuj inny głos albo przeredaguj kwestię.

Licencja

Dodatek

Apache-2.0

Silnik

MIT, Apache-2.0

kitten-tts-2-cpp, od KittenML; LibTorch jest na licencji BSD-3-Clause

Enkoder referencyjny

MIT

Z chatterbox-turbo (ResembleAI) i pyannote

Model

Stellon Labs Community License

Wagi KittenTTS 2; użytek komercyjny darmowy tylko poniżej 1 mln USD przychodu lub finansowania

Dodatek jest na licencji Apache-2.0. Środowisko uruchomieniowe KittenML jest na licencjach MIT i Apache-2.0, LibTorch na BSD-3-Clause, a części enkodera referencyjnego na MIT. Wagi KittenTTS 2 są objęte Stellon Labs Community License, którą akceptujesz, gdy dodatek je pobiera: darmowe do badań i użytku osobistego, a do użytku komercyjnego tylko poniżej 1 000 000 USD rocznego przychodu i łącznego finansowania, z rejestracją w Stellon Labs. Wag i tego, co tworzą, nie wolno używać do trenowania innych modeli. Dubbing, który tworzysz, należy do ciebie. Powered by KittenML.

KittenTTS 2 (offline, voice clone, 16 languages)