BlueTTS offline, klonowanie głosu, hebrajski + 6 języków

GłosyOfflineTylko CPUKlonowanie głosuUżycie komercyjne dozwolone

Dubbinguje twoje napisy po hebrajsku, angielsku, niemiecku, hiszpańsku, włosku, rosyjsku i w jidysz za pomocą BlueV3 autorstwa Maxima Melichova, jednym z 15 głosów albo własnym głosem każdego mówcy, sklonowanym z około dziesięciu sekund wideo. Działa na procesorze twojego komputera, od trzech do pięciu razy szybciej niż w czasie rzeczywistym, bez karty graficznej.

Zainstaluj z poziomu Subtitld

Ustawienia Dodatki BlueTTS (offline, voice clone, Hebrew + 6 languages) Zainstaluj

Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.

Źródło na GitHub
Języki
7
Modele
5
Głosy
16
Pobranie dodatku
37–62 MB
RAM, co najmniej
2.5 GB

Co robi

Hebrajski i jidysz

BlueTTS powstał przede wszystkim dla hebrajskiego: czyta hebrajski tekst bez znaków samogłoskowych, łącznie z liczbami, datami i cenami, a angielskie słowa w hebrajskiej kwestii czyta po angielsku. Mówi też w jidysz, co potrafi niewiele silników dubbingu.

Własny głos mówcy

Subtitld wycina z wideo około dziesięciu sekund każdego mówcy i wysyła je z każdą kwestią. BlueTTS klonuje ten głos w każdym ze swoich siedmiu języków. Możesz też wybrać jeden z 15 głosów.

Szybki na każdym komputerze

Na procesorze laptopa mówi od trzech do pięciu razy szybciej niż w czasie rzeczywistym. Karta graficzna nie jest używana.

Offline po pierwszej kwestii

Każda część pobiera się raz, gdy pierwsza kwestia jej potrzebuje. Potem nic nie opuszcza twojego komputera.

Przed instalacją

To, czego potrzebuje BlueTTS, zależy od języków, w których robisz dubbing:

  • Dysk: 428 MB na model, pobierany przy pierwszej kwestii. Hebrajski dodaje 1,2 GB (albo 312 MB z kompaktowym modelem czytania), jidysz 307 MB, a własny głos mówcy 136 MB, każde przy pierwszym użyciu.
  • Pamięć: około 700 MB podczas mówienia, około 2 GB po wczytaniu hebrajskiego.
  • Czas: na procesorze Intel Core i7-13700T wytworzenie sekundy mowy zajmuje około jednej piątej sekundy, a po hebrajsku jednej trzeciej sekundy. Pierwsza hebrajska kwestia czeka około 15 sekund dłużej, aż wczyta się model czytania.
  • Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.

Głosy

W karcie Mówcy wybierz BlueTTS jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

16 głosów.

Głosy
Kobiety Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Mężczyźni Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Każdy głos mówi we wszystkich siedmiu językach, w każdym z nich we własnym naturalnym tempie. Zostały utworzone z lektorów korpusu audiobooków LibriTTS-R.

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

BlueTTS słucha mniej więcej pierwszych dziewięciu sekund próbki i kopiuje barwę i wysokość głosu, a nie sposób mówienia. Najlepsza próbka to czysta mowa blisko mikrofonu: szum i pogłos sprawiają, że klon mniej przypomina mówcę, a nagranie z telefonu daje głos brzmiący jak z telefonu.

Modele

Modelu ani modeli czytania nie ma w dodatku: każdy pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku je zachowuje.

Model PobranieDobry do
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Domyślne bluev3
428 MB
Każda kwestia: głosy oraz czytanie angielskiego, niemieckiego, hiszpańskiego, włoskiego i rosyjskiego
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Własny głos mówcy, przy pierwszym dubbingu takim głosem
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Hebrajski, przy pierwszym dubbingu w tym języku (domyślny)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Hebrajski, gdy wybierzesz kompaktowy model czytania
ReNikud-yi Yiddish context model renikud-yi
307 MB
Jidysz, przy pierwszym dubbingu w tym języku

Dodatek uruchamia własny kod BlueTTS na ONNX Runtime, bez PyTorch. Przy tym samym głosie, kwestii i ziarnie daje dokładnie to samo, co własny pakiet Pythona BlueTTS.

Opcje

W Ustawieniach › Dodatki › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Konfiguruj.

CPU threads
Domyślnie: 0

0 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.

Quality steps
Domyślnie: 8

Ile przejść model wykonuje nad każdą kwestią. 8 to ustawienie samego BlueTTS. 4 jest około 1,7 raza szybsze, przy nieco niższej jakości.

Hebrew reading model
Domyślnie: accurate

Jak tekst hebrajski jest zamieniany na dźwięki. accurate to pełny model, 1,2 GB, potrzebujący około 2 GB pamięci. compact to ten sam model w zmniejszonej wersji, 312 MB: w naszym teście czytał inaczej mniej więcej 1 słowo na 200, częściej źle.

Fallback reference clip
Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: około 10 sekund mowy jednej osoby, czysty, nie nagranie z telefonu.

Języki

Hebrajski, angielski, niemiecki, hiszpański, włoski, rosyjski i jidysz. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.

Hiszpański zależy od regionu projektu: Hiszpania dostaje kastylijski, każdy inny region hiszpański latynoamerykański. Liczby, daty, ceny i kody są czytane słownie, z wyjątkiem jidysz: zapisuj liczby w jidysz słownie, inaczej kwestia zostanie odrzucona z komunikatem, który to mówi.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Platformy

System PobraniePrzetestowano
Linux x86-64 61.7 MBDubbing prawdziwym modelem na prawdziwej maszynie, przez menedżer dodatków Subtitld, i w CI
macOS (Apple silicon) 43.8 MBDubbing prawdziwym modelem w CI (Apple Silicon)
Windows x86-64 37.3 MBDubbing prawdziwym modelem w CI

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera modele i robi dubbing kwestii w każdym języku.

Rozwiązywanie problemów

  • network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
  • disk_fullZa mało miejsca na dysku na model: 428 MB i do 1,7 GB więcej na hebrajski, jidysz i własny głos mówcy.
  • unsupported_languageJęzyk projektu nie jest jednym z siedmiu albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
  • unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
  • bad_paramsKwestia nie ma tekstu, kwestia w jidysz zawiera cyfry albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
  • out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: BlueTTS potrzebuje około 1 GB wolnej pamięci, 2,5 GB z hebrajskim.
  • internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.

Licencja

Dodatek
Apache-2.0
Silnik
MIT
BlueTTS, od Maxima Melichova; ONNX Runtime jest na licencji MIT
Model
MIT, BigScience OpenRAIL-M
Wagi BlueV3; wokoder, dostrojony z Supertonic-3 firmy Supertone, jest na licencji OpenRAIL-M, z ograniczeniami użycia
Głosy
CC-BY-4.0
Utworzone z mówców LibriTTS-R
Modele czytania
Apache-2.0, MIT, CC BY-SA
RenikudPlus (hebrajski), polyg2p; leksykony niemiecki i włoski oraz część leksykonu jidysz są na licencji CC BY-SA

Dodatek jest na licencji Apache-2.0, a kod BlueTTS na licencji MIT. Model głosu też jest na licencji MIT, z wyjątkiem wokodera, czyli części, która zamienia wyjście modelu na dźwięk: jest dostrojony z Supertonic-3 firmy Supertone i objęty licencją BigScience OpenRAIL-M. Praca komercyjna jest dozwolona, ale OpenRAIL-M zabrania niektórych zastosowań tego, co tworzy, między innymi łamania prawa, wprowadzania ludzi w błąd i podszywania się pod kogoś bez jego zgody. 15 głosów jest na licencji CC-BY-4.0. Leksykony niemiecki i włoski oraz część leksykonu jidysz są na licencji CC BY-SA; pobierają się razem z modelami i pozostają w takiej postaci, w jakiej publikują je ich autorzy.

Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.

Wersje

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Inne dodatki: Głosy

Zaktualizowano · Z katalogu dodatków Zgłoś problem z tym dodatkiem