Sopro (offline, voice clone, 4 languages)

Co robi

Przed instalacją

Sopro niewiele wymaga od komputera:

• Dysk: około 340 MB na model, pobierany przy pierwszej kwestii.
• Pamięć: około 1 GB podczas mówienia.
• Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.

Klonuj głos tylko za zgodą jego właściciela. Autor Sopro prosi, by nigdy nie używać go do podszywania się pod kogoś innego.

Głosy

W karcie Mówcy wybierz Sopro jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

9 głosów.

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki. Najlepsza próbka to od 5 do 20 sekund samego mówcy, bez muzyki i innych głosów.

Każdy gotowy głos to wolontariusz LibriVox czytający książkę w danym języku. Każdy z nich mówi we wszystkich czterech językach; jego własny język nadaje mu tylko akcent, więc dla najbardziej naturalnego dubbingu wybierz głos w języku projektu.

Modele

Sopro ma jeden model dla wszystkich czterech języków. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.

Dodatek uruchamia wersję ONNX Sopro, którą publikuje jego autor, bez PyTorch. Porównaliśmy ją z oficjalną wersją PyTorch na tych samych kwestiach we wszystkich czterech językach: nie robiła więcej błędów i brzmiała równie podobnie do mówcy.

Opcje

W Ustawieniach › Dodatki › Sopro (offline, voice clone, 4 languages) › Konfiguruj.

Języki

Angielski, europejski portugalski, francuski i niemiecki. Tekst w brazylijskim portugalskim też jest czytany, z europejskim akcentem. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.

Tam, gdzie to ma znaczenie, zapisuj liczby i symbole słownie: Sopro czyta „1 + 2” mniej pewnie niż „one plus two”. Słowo z innego języka w środku zdania może zostać źle wymówione.

• en
• pt
• fr
• de

Platformy

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi nim dubbing.

Rozwiązywanie problemów

• network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
• disk_fullZa mało miejsca na dysku na model, około 340 MB.
• unsupported_languageJęzyk projektu nie jest jednym z czterech albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
• unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
• bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
• out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: Sopro potrzebuje około 1 GB.
• internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.

Licencja

Można używać komercyjnie: dodatek, Sopro i model Sopro V2 Turbo są na licencji Apache-2.0. Gotowe głosy to nagrania LibriVox w domenie publicznej; angielskie pochodzą z LibriTTS-R, na licencji CC-BY-4.0, a dodatek podaje autora każdego z nich. Dubbing, który tworzysz, należy do ciebie.