VoxCPM2 (offline, voice clone, 30 languages)

Co robi

Przed instalacją

VoxCPM2 to duży model, 2,4 miliarda parametrów. Daje najbardziej naturalny dubbing spośród dodatków offline i najwięcej wymaga od komputera:

• Dysk: około 5,6 GB, głównie model o rozmiarze 4,96 GB, pobierany przy pierwszej dubbingowanej kwestii.
• Pamięć: około 7 GB wolnej. Z mniejszą nadal działa, ale znacznie wolniej.
• Czas: na procesorze każda sekunda mowy zajmuje kilka sekund: od 5 do 6 sekund na Intel Core i7-13700T. Dziesięciominutowe wideo może zająć około godziny. Na Macu z Apple Silicon działa na GPU.

Do szybkiego dubbingu na skromniejszych komputerach Piper lub Kokoro są znacznie lżejsze.

Głosy

W karcie Mówcy wybierz VoxCPM2 jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

9 głosów.

Głos klonowany

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu trwającego od 3 do 12 sekund albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

Subtitld wysyła tekst napisu razem z próbką, a VoxCPM2 ją kontynuuje, co najbardziej zbliża go do mówcy, łącznie ze sposobem mówienia. Jeśli dubbing na inny język zachowuje akcent mówcy, włącz Clone the timbre only.

Głosy z opisu

VoxCPM2 wymyśla nowy głos za każdym razem, gdy czyta opis. Dlatego dodatek tworzy głos każdego mówcy raz, a każda jego kwestia używa go ponownie: głos pozostaje taki sam przez całe wideo, a dwaj mówcy z tym samym opisem nadal brzmią jak dwie osoby.

Modele

Jest jeden model, VoxCPM2. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.

Pierwsza kwestia także wczytuje model, więc trwa dłużej niż kolejne. Anuluj zatrzymuje kwestię między dwoma krokami albo zatrzymuje pobieranie.

Opcje

W Ustawieniach › Dodatki › VoxCPM2 (offline, voice clone, 30 languages) › Konfiguruj.

Języki

Arabski, birmański, chiński, duński, angielski, fiński, francuski, niemiecki, grecki, hebrajski, hindi, indonezyjski, włoski, japoński, khmerski, koreański, laotański, malajski, niderlandzki, norweski, polski, portugalski, rosyjski, hiszpański, suahili, szwedzki, tagalski, tajski, turecki i wietnamski. VoxCPM2 rozpoznaje język z samego tekstu, więc każdy głos mówi w każdym języku.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Platformy

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a CI sprawdza, czy w wersji jest wszystko, co potrzebne do mówienia. CI nie uruchamia samego modelu.

Rozwiązywanie problemów

• network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
• disk_fullZa mało miejsca na dysku na model. Potrzeba około 5 GB wolnego miejsca.
• oomBrak pamięci. Zamknij inne programy; VoxCPM2 potrzebuje około 7 GB wolnej pamięci, 11 GB w float32.
• bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
• unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
• internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły. Jeśli zmieniłeś Inference device, ustaw je z powrotem na Automatycznie.

Licencja

Można używać komercyjnie: dodatek, VoxCPM i wagi VoxCPM2 są wszystkie na licencji Apache-2.0. Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj tylko głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.