BlueTTS offline, klonowanie głosu, hebrajski + 6 języków
Dubbinguje twoje napisy po hebrajsku, angielsku, niemiecku, hiszpańsku, włosku, rosyjsku i w jidysz za pomocą BlueV3 autorstwa Maxima Melichova, jednym z 15 głosów albo własnym głosem każdego mówcy, sklonowanym z około dziesięciu sekund wideo. Działa na procesorze twojego komputera, od trzech do pięciu razy szybciej niż w czasie rzeczywistym, bez karty graficznej.
Ustawienia Dodatki BlueTTS (offline, voice clone, Hebrew + 6 languages) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 7
- Modele
- 5
- Głosy
- 16
- Pobranie dodatku
- 37–62 MB
- RAM, co najmniej
- 2.5 GB
Co robi
BlueTTS powstał przede wszystkim dla hebrajskiego: czyta hebrajski tekst bez znaków samogłoskowych, łącznie z liczbami, datami i cenami, a angielskie słowa w hebrajskiej kwestii czyta po angielsku. Mówi też w jidysz, co potrafi niewiele silników dubbingu.
Subtitld wycina z wideo około dziesięciu sekund każdego mówcy i wysyła je z każdą kwestią. BlueTTS klonuje ten głos w każdym ze swoich siedmiu języków. Możesz też wybrać jeden z 15 głosów.
Na procesorze laptopa mówi od trzech do pięciu razy szybciej niż w czasie rzeczywistym. Karta graficzna nie jest używana.
Każda część pobiera się raz, gdy pierwsza kwestia jej potrzebuje. Potem nic nie opuszcza twojego komputera.
Przed instalacją
To, czego potrzebuje BlueTTS, zależy od języków, w których robisz dubbing:
- Dysk: 428 MB na model, pobierany przy pierwszej kwestii. Hebrajski dodaje 1,2 GB (albo 312 MB z kompaktowym modelem czytania), jidysz 307 MB, a własny głos mówcy 136 MB, każde przy pierwszym użyciu.
- Pamięć: około 700 MB podczas mówienia, około 2 GB po wczytaniu hebrajskiego.
- Czas: na procesorze Intel Core i7-13700T wytworzenie sekundy mowy zajmuje około jednej piątej sekundy, a po hebrajsku jednej trzeciej sekundy. Pierwsza hebrajska kwestia czeka około 15 sekund dłużej, aż wczyta się model czytania.
- Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.
Głosy
W karcie Mówcy wybierz BlueTTS jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.
16 głosów.
| Głosy | |
|---|---|
| Kobiety | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Mężczyźni | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Każdy głos mówi we wszystkich siedmiu językach, w każdym z nich we własnym naturalnym tempie. Zostały utworzone z lektorów korpusu audiobooków LibriTTS-R.
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.
BlueTTS słucha mniej więcej pierwszych dziewięciu sekund próbki i kopiuje barwę i wysokość głosu, a nie sposób mówienia. Najlepsza próbka to czysta mowa blisko mikrofonu: szum i pogłos sprawiają, że klon mniej przypomina mówcę, a nagranie z telefonu daje głos brzmiący jak z telefonu.
Modele
Modelu ani modeli czytania nie ma w dodatku: każdy pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku je zachowuje.
| Model | Pobranie | Dobry do |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Domyślne bluev3 | Każda kwestia: głosy oraz czytanie angielskiego, niemieckiego, hiszpańskiego, włoskiego i rosyjskiego | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Własny głos mówcy, przy pierwszym dubbingu takim głosem | |
| RenikudPlus Hebrew G2P renikudplus | Hebrajski, przy pierwszym dubbingu w tym języku (domyślny) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Hebrajski, gdy wybierzesz kompaktowy model czytania | |
| ReNikud-yi Yiddish context model renikud-yi | Jidysz, przy pierwszym dubbingu w tym języku |
Dodatek uruchamia własny kod BlueTTS na ONNX Runtime, bez PyTorch. Przy tym samym głosie, kwestii i ziarnie daje dokładnie to samo, co własny pakiet Pythona BlueTTS.
Opcje
W Ustawieniach › Dodatki › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Konfiguruj.
00 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.
8Ile przejść model wykonuje nad każdą kwestią. 8 to ustawienie samego BlueTTS. 4 jest około 1,7 raza szybsze, przy nieco niższej jakości.
accurateJak tekst hebrajski jest zamieniany na dźwięki. accurate to pełny model, 1,2 GB, potrzebujący około 2 GB pamięci. compact to ten sam model w zmniejszonej wersji, 312 MB: w naszym teście czytał inaczej mniej więcej 1 słowo na 200, częściej źle.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: około 10 sekund mowy jednej osoby, czysty, nie nagranie z telefonu.
Języki
Hebrajski, angielski, niemiecki, hiszpański, włoski, rosyjski i jidysz. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.
Hiszpański zależy od regionu projektu: Hiszpania dostaje kastylijski, każdy inny region hiszpański latynoamerykański. Liczby, daty, ceny i kody są czytane słownie, z wyjątkiem jidysz: zapisuj liczby w jidysz słownie, inaczej kwestia zostanie odrzucona z komunikatem, który to mówi.
heendeesitruyi
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 61.7 MB | Dubbing prawdziwym modelem na prawdziwej maszynie, przez menedżer dodatków Subtitld, i w CI |
| macOS (Apple silicon) | 43.8 MB | Dubbing prawdziwym modelem w CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Dubbing prawdziwym modelem w CI |
Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera modele i robi dubbing kwestii w każdym języku.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model: 428 MB i do 1,7 GB więcej na hebrajski, jidysz i własny głos mówcy.unsupported_languageJęzyk projektu nie jest jednym z siedmiu albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.bad_paramsKwestia nie ma tekstu, kwestia w jidysz zawiera cyfry albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: BlueTTS potrzebuje około 1 GB wolnej pamięci, 2,5 GB z hebrajskim.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.
Licencja
Dodatek jest na licencji Apache-2.0, a kod BlueTTS na licencji MIT. Model głosu też jest na licencji MIT, z wyjątkiem wokodera, czyli części, która zamienia wyjście modelu na dźwięk: jest dostrojony z Supertonic-3 firmy Supertone i objęty licencją BigScience OpenRAIL-M. Praca komercyjna jest dozwolona, ale OpenRAIL-M zabrania niektórych zastosowań tego, co tworzy, między innymi łamania prawa, wprowadzania ludzi w błąd i podszywania się pod kogoś bez jego zgody. 15 głosów jest na licencji CC-BY-4.0. Leksykony niemiecki i włoski oraz część leksykonu jidysz są na licencji CC BY-SA; pobierają się razem z modelami i pozostają w takiej postaci, w jakiej publikują je ich autorzy.
Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.
Wersje
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 11 językach, także po kantońsku. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…