Dubbinguje twoje napisy po chińsku, angielsku, japońsku, koreańsku, niemiecku, francusku i hiszpańsku za pomocą Ming-3.0-tts od inclusionAI, własnym głosem każdego mówcy, sklonowanym z wideo, jednym z jego wbudowanych głosów albo głosem stworzonym z opisu, z regulacją emocji i tempa. Działa na twoim komputerze, a dodatek, kod i wagi są wszystkie wolne do pracy komercyjnej.

Co robi

Własny głos mówcy

Subtitld wycina z wideo klip każdego mówcy i wysyła go razem ze słowami w nim wypowiedzianymi. Ming-3.0-tts kontynuuje ten klip, więc dubbing brzmi jak osoba na ekranie, w każdym z jego siedmiu języków.

Głosy wbudowane lub z opisu

Pięć głosów, na których model był trenowany, takich samych w każdej kwestii, albo głos stworzony z kilku słów: pięć gotowych, od ciepłego kobiecego po narratora, albo twój własny opis.

Emocje i tempo

Niech głosy klonowane i z opisu mówią radośnie, smutno, ze złością lub ze zdziwieniem, albo szybciej, wolniej, wyżej lub niżej.

Wolny do pracy komercyjnej

Dodatek jest na licencji Apache-2.0; kod i wagi Ming-3.0-tts są na licencji MIT.

Przed instalacją

Ming-3.0-tts to duży model, około 1,5 miliarda parametrów razem z kodekiem audio. Wiele wymaga od komputera:

Dysk: około 3,4 GB, głównie model o rozmiarze 2,99 GB, pobierany przy pierwszej dubbingowanej kwestii.
Pamięć: około 5 GB wolnej. Z mniejszą nadal działa, ale znacznie wolniej.
Czas: na procesorze każda sekunda mowy zajmuje około czterech do pięciu sekund, na Intel Core i7-13700T. Dziesięciominutowe wideo może zająć około trzech kwadransów.

Do szybkiego dubbingu na skromniejszych komputerach Piper lub Kokoro są znacznie lżejsze.

Głosy

W karcie Mówcy wybierz Ming-3.0-tts jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

12 głosów.

Głos klonowany

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu trwającego od 3 do 12 sekund albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

Subtitld wysyła tekst napisu razem z próbką, a Ming-3.0-tts ją kontynuuje, co najbardziej zbliża go do mówcy, łącznie ze sposobem mówienia. Jeśli dubbing na inny język zachowuje akcent mówcy, włącz Clone the timbre only.

Głosy wbudowane

Emma (amerykańska), George i Charlotte (brytyjscy), Ling Xiaorou i Ling Kai (chińscy) to mówcy, których model się nauczył. Każdy brzmi tak samo w każdej kwestii i każdy mówi we wszystkich siedmiu językach.

Głosy z opisu

Ming-3.0-tts wymyśla nowy głos za każdym razem, gdy czyta opis. Dlatego dodatek tworzy głos każdego mówcy raz, a każda jego kwestia używa go ponownie: głos pozostaje taki sam przez całe wideo, a dwaj mówcy z tym samym opisem nadal brzmią jak dwie osoby.

Emocja, tempo, wysokość i głośność

To ustawienia dodatku, więc dotyczą każdego mówcy dubbingowanego głosem klonowanym lub z opisu. To własne regulacje modelu, które przejmują brzmienie głosu mówcy, ale nie jego sposób mówienia, i działają pojedynczo: ustawiona emocja ma pierwszeństwo przed tempem, wysokością głosu i głośnością. Głosy wbudowane je ignorują.

W kwestiach po chińsku lub angielsku model wydaje też dźwięki zapisane w tekście: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] i kilka innych.

Modele

Jest jeden model, Ming-3.0-tts-0.5B. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.

Model	Pobranie	Dobry do
Ming-3.0-tts (0.5B) Domyślne ming-3.0-tts-0.5b	2.9 GB	Każdy głos, we wszystkich siedmiu językach

Pierwsza kwestia także wczytuje model, więc trwa dłużej niż kolejne. Anuluj zatrzymuje kwestię między dwoma krokami albo zatrzymuje pobieranie.

Opcje

W Ustawieniach › Dodatki › Ming-3.0-tts (offline, voice clone, 7 languages) › Konfiguruj.

Inference device

Domyślnie: auto

Automatycznie używa procesora. Można wybrać GPU Maca z Apple Silicon, ale nie zostało to wypróbowane. Ta wersja nie używa kart graficznych NVIDIA.

CPU threads

Domyślnie: 0

0 wybiera rdzenie wydajnościowe na procesorach, które mają też rdzenie energooszczędne. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.

Emotion

Domyślnie: none

Każda kwestia głosu klonowanego lub z opisu jest wypowiadana z tą emocją. Zachowuje brzmienie głosu, ale nie sposób mówienia mówcy, i ma pierwszeństwo przed tempem, wysokością głosu i głośnością. Głosy wbudowane ją ignorują.

Speed

Domyślnie: normal

Dla głosów klonowanych i z opisu, gdy nie ustawiono emocji. Tak jak emocja zachowuje tylko brzmienie głosu.

Pitch

Domyślnie: normal

Jak tempo: dla głosów klonowanych i z opisu, gdy nie ustawiono emocji.

Volume

Domyślnie: normal

Jak tempo: dla głosów klonowanych i z opisu, gdy nie ustawiono emocji.

Voice description

Domyślnie: pusty

Używane przez głos „Voice you describe”: kto mówi i jak, w kilku słowach, na przykład „An elderly woman, soft and warm voice, slow pace”. Angielski lub chiński działa dla każdego języka.

Fallback reference clip

Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 10 sekund mowy jednej osoby.

Fallback reference transcript

Domyślnie: pusty

Dokładne słowa wypowiedziane w klipie powyżej. Z nimi klon jest bliższy mówcy.

Clone the timbre only

Domyślnie: wył.

Klonuje tylko brzmienie głosu, bez sposobu mówienia z klipu. Spróbuj, gdy dubbing na inny język zachowuje akcent mówcy albo gdy twoje napisy parafrazują wypowiedź.

Języki

Chiński, angielski, japoński, koreański, niemiecki, francuski i hiszpański. Każdy głos mówi w każdym z nich.

zh
en
ja
ko
de
fr
es

Platformy

System	Pobranie	Przetestowano
Linux x86-64	321.2 MB	Dubbing prawdziwym modelem na prawdziwej maszynie
macOS (Apple silicon)	335.7 MB	Zbudowany i sprawdzony w CI (Apple Silicon)
Windows x86-64	216.4 MB	Zbudowany i sprawdzony w CI

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a CI sprawdza, czy w wersji jest wszystko, co potrzebne do mówienia. CI nie uruchamia samego modelu.

Rozwiązywanie problemów

network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
disk_fullZa mało miejsca na dysku na model. Potrzeba około 3,4 GB wolnego miejsca.
oomBrak pamięci. Zamknij inne programy; Ming-3.0-tts potrzebuje około 5 GB wolnej pamięci.
bad_paramsKwestia nie ma tekstu, głos klonowany nie dostał próbki albo Voice you describe nie ma opisu. Komunikat mówi które: otwórz wideo, ustaw Fallback reference clip albo wpisz Voice description.
unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły. Jeśli zmieniłeś Inference device, ustaw je z powrotem na Automatycznie.

Licencja

Dodatek

Apache-2.0

Silnik

MIT

Ming-3.0-tts, od inclusionAI (Ant Group)

Model

MIT

Wagi Ming-3.0-tts-0.5B

Można używać komercyjnie: dodatek jest na licencji Apache-2.0, a kod Ming-3.0-tts i wagi Ming-3.0-tts-0.5B na licencji MIT. Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj tylko głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.

Ming-3.0-tts (offline, voice clone, 7 languages)

Co robi

Przed instalacją

Głosy

Głos klonowany

Głosy wbudowane

Głosy z opisu

Emocja, tempo, wysokość i głośność

Modele

Opcje

Języki

Platformy

Rozwiązywanie problemów

Licencja

Wersje

Inne dodatki: Głosy