Chatterbox offline, klonování hlasu, 20 jazyků

HlasyOfflinePouze CPUKlonování hlasuKomerční použití povoleno

Nadabuje vaše titulky ve 20 jazycích pomocí Chatterbox od Resemble AI, vlastním hlasem každého mluvčího naklonovaným z několika sekund videa, nebo jedním z 8 přednastavených hlasů. Naklonovaný hlas mluví všemi jazyky, ať je klip v jakémkoli jazyce. Běží na procesoru vašeho vlastního počítače zhruba v reálném čase, bez grafické karty.

Nainstalujte ho z Subtitld

Nastavení Doplňky Chatterbox (offline, voice clone, 20 languages) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
20
Modely
2
Hlasy
9
Stažení doplňku
39–62 MB
RAM, alespoň
2 GB

Poslechněte si

Co dělá

Vlastní hlas mluvčího v jiném jazyce

Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je s každým řádkem. Chatterbox tento hlas naklonuje v kterémkoli ze svých 20 jazyků, takže portugalského herce lze nadabovat německy a pořád zní sám sebou.

Dva modely

Multilingual mluví všemi 20 jazyky. Turbo mluví jen anglicky, zní věrněji mluvčímu, potřebuje méně paměti a přečte značky jako [laugh] a [sigh] napsané v titulku.

Na každém počítači

Běží na procesoru zhruba v reálném čase, bez grafické karty: 10sekundový řádek trvá asi 10 sekund.

Volné pro komerční práci

Doplněk je pod Apache-2.0, Chatterbox i jeho modely pod MIT a přednastavené hlasy jsou čtenáři LibriVox, jejichž nahrávky jsou volným dílem.

Před instalací

  • Disk: Multilingual stáhne při prvním řádku 1,3 GB, Turbo 725 MB.
  • Paměť: asi 1,7 GB během mluvení s Multilingual, asi 1 GB s Turbo.
  • Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.

Klonujte hlas jen se souhlasem jeho majitele. Oficiální sestavení Chatterbox označují svůj zvuk neslyšitelným vodoznakem; tento doplněk ne, takže odpovědnost za to, jak naklonovaný hlas použijete, nesete vy.

Hlasy

V záložce Mluvčí zvolte u mluvčího Chatterbox jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

9 hlasů.

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze. Nejlepší vzorek je 5 až 20 sekund samotného mluvčího, bez hudby a jiných hlasů; doplněk použije jeho prvních 10 sekund.

Přednastavené hlasy
Ženy Angličtina, portugalština, francouzština, němčina
Muži Angličtina, portugalština, francouzština, němčina

Každý přednastavený hlas patří dobrovolníkovi LibriVox, který čte knihu v daném jazyce; jsou to stejní čtenáři jako v doplňku Sopro. Každý přednastavený hlas mluví všemi 20 jazyky; jeho vlastní jazyk mu dává jen přízvuk, proto pro nejpřirozenější dabing vyberte ten, který má k jazyku vašeho projektu nejblíž.

Modely

Ani jeden model není uvnitř doplňku: ten, který používáte, se stáhne do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku modely ponechá.

ModelJazyk StaženíVhodné pro
Chatterbox Multilingual (0.5B, 4-bit ONNX) Výchozí multilingual
1.3 GB
Všech 20 jazyků; výchozí volba
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Jen angličtina: věrnější mluvčímu, méně paměti a přečte [laugh], [sigh] a [cough]

Doplněk spouští exporty Chatterbox do ONNX, bez PyTorch. V našem testu 10 vět v angličtině, portugalštině, francouzštině, němčině, španělštině, italštině, ruštině a polštině, každé naklonované ze dvou hlasů, udělal Multilingual chybu ve 2,4 % slov a zněl mluvčímu podobně; Turbo neudělal v angličtině žádnou chybu a zněl mu ještě podobněji.

Možnosti

V Nastavení › Doplňky › Chatterbox (offline, voice clone, 20 languages) › Nastavit.

Model
Výchozí: multilingual

Turbo mluví jen anglicky. Když je zvolen Turbo, řádky v jiných jazycích namluví Multilingual. V paměti je vždy jen jeden model.

Expressiveness
Výchozí: 0.5

Jen Multilingual: kolik emocí hlas vloží do řeči. 0,5 je výchozí hodnota samotného Chatterbox; vyšší je dramatičtější a mívá rychlejší tempo.

CPU threads
Výchozí: 0

0 použije polovinu logických procesorů počítače, nejvýše 8. Méně vláken nechá počítač během dabingu lépe reagovat.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 5 až 20 sekund, kdy mluví jedna osoba.

Jazyky

Angličtina, arabština, dánština, finština, francouzština, hindština, italština, korejština, malajština, němčina, nizozemština, norština, polština, portugalština, ruština, řečtina, svahilština, španělština, švédština a turečtina. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

Chatterbox umí také hebrejsky, japonsky a čínsky, ty ale doplněk vynechává: hebrejština potřebuje druhý model, který doplní samohlásková znaménka, japonština potřebuje převodník, jehož licence nedovoluje ho přibalit, a čínština v našich testech vycházela zkomoleně.

Tam, kde na tom záleží, pište čísla a symboly slovy. Řádek se namluví najednou, až 40 sekund řeči.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Platformy

Systém StaženíOtestováno
Linux x86-64 62.5 MBNadabováno oběma modely na skutečném počítači a přímo v Subtitld
macOS (Apple silicon) 43.7 MBV CI nainstalovaný doplněk stáhne model a nadabuje s ním (Apple Silicon)
Windows x86-64 38.7 MBV CI nainstalovaný doplněk stáhne model a nadabuje s ním

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje s ním.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model: 1,3 GB pro Multilingual, 725 MB pro Turbo.
  • unsupported_languageJazyk projektu není žádný z 20, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, které.
  • out_of_memoryPočítači došla paměť. Zavřete jiné programy, nebo pro angličtinu zvolte Turbo: potřebuje asi 1 GB.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Doplněk
Apache-2.0
Engine
MIT
Chatterbox od Resemble AI; ONNX Runtime je pod MIT
Model
MIT
Váhy Chatterbox Multilingual a Turbo v jejich exportech do ONNX
Přednastavené hlasy
Public domain, CC-BY-4.0
Čtenáři LibriVox; anglické prostřednictvím LibriTTS-R

Vhodné pro komerční práci: doplněk je pod Apache-2.0, Chatterbox i oba modely pod MIT. Přednastavené hlasy jsou nahrávky LibriVox, které jsou volným dílem; anglické pocházejí z LibriTTS-R, pod CC-BY-4.0, a doplněk u každého z nich uvádí autora. Dabing, který vytvoříte, je váš.

Verze

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem