Nadabuje vaše titulky v čínštině, angličtině, japonštině, korejštině, němčině, francouzštině a španělštině pomocí Ming-3.0-tts od inclusionAI, vlastním hlasem každého mluvčího naklonovaným z videa, jedním z jeho vestavěných hlasů, nebo hlasem vytvořeným podle popisu, s ovládáním emocí a rychlosti. Běží na vašem vlastním počítači a doplněk, kód i váhy jsou všechny volné pro komerční práci.

Co dělá

Vlastní hlas mluvčího

Subtitld vystřihne z videa klip každého mluvčího a pošle ho se slovy, která v něm zazní. Ming-3.0-tts na ten klip navazuje, takže dabing zní jako osoba na obrazovce, v kterémkoli z jeho sedmi jazyků.

Vestavěné nebo popsané hlasy

Pět hlasů, na kterých se model učil, na každém řádku stejných, nebo hlas vytvořený z několika slov: pět hotových, od vřelého ženského po vypravěče, nebo váš vlastní popis.

Emoce a tempo

Nechte klonované a popsané hlasy mluvit vesele, smutně, rozzlobeně nebo překvapeně, nebo rychleji, pomaleji, výš nebo níž.

Volné pro komerční práci

Doplněk je pod Apache-2.0; kód i váhy Ming-3.0-tts jsou pod MIT.

Před instalací

Ming-3.0-tts je velký model, asi 1,5 miliardy parametrů včetně jeho audio kodeku. Hodně vyžaduje od vašeho počítače:

Disk: asi 3,4 GB, z toho většinu tvoří model o velikosti 2,99 GB, stažený při prvním řádku, který dabujete.
Paměť: asi 5 GB volných. S méně stále běží, ale mnohem pomaleji.
Čas: na CPU trvá každá sekunda řeči asi čtyři až pět sekund, na Intel Core i7-13700T. Desetiminutové video může trvat asi tři čtvrtě hodiny.

Pro rychlý dabing na skromnějších počítačích jsou Piper nebo Kokoro mnohem lehčí.

Hlasy

V záložce Mluvčí zvolte u mluvčího Ming-3.0-tts jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

12 hlasů.

Klonovaný hlas

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku o délce 3 až 12 sekund, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.

Subtitld pošle se vzorkem text titulku a Ming-3.0-tts na něj naváže, čímž se mluvčímu přiblíží nejvíc, včetně projevu. Pokud dabing do jiného jazyka drží přízvuk mluvčího, zapněte Clone the timbre only.

Vestavěné hlasy

Emma (americká), George a Charlotte (britští), Ling Xiaorou a Ling Kai (čínští) jsou mluvčí, které se model naučil. Každý zní na každém řádku stejně a každý mluví všemi sedmi jazyky.

Popsané hlasy

Ming-3.0-tts si při každém čtení popisu vymyslí nový hlas. Proto doplněk vytvoří hlas každého mluvčího jednou a každý řádek tohoto mluvčího ho použije znovu: hlas zůstává stejný po celé video a dva mluvčí se stejným popisem stále znějí jako dva lidé.

Emoce, rychlost, výška a hlasitost

Jsou to nastavení doplňku, takže platí pro každého mluvčího dabovaného klonovaným nebo popsaným hlasem. Jsou to vlastní ovládací prvky modelu, které převezmou zvuk hlasu mluvčího, ale ne jeho způsob mluvy, a fungují vždy jen jeden: emoce, pokud je nastavena, má přednost před rychlostí, výškou hlasu a hlasitostí. Vestavěné hlasy je ignorují.

V čínských nebo anglických řádcích model vydává i zvuky zapsané v textu: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] a několik dalších.

Modely

Je jen jeden model, Ming-3.0-tts-0.5B. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.

Model	Stažení	Vhodné pro
Ming-3.0-tts (0.5B) Výchozí ming-3.0-tts-0.5b	2.9 GB	Každý hlas, ve všech sedmi jazycích

První řádek také načítá model, takže trvá déle než ty další. Zrušit zastaví řádek mezi dvěma kroky, nebo zastaví stahování.

Možnosti

V Nastavení › Doplňky › Ming-3.0-tts (offline, voice clone, 7 languages) › Nastavit.

Inference device

Výchozí: auto

Automaticky použije procesor. GPU Macu s Apple Silicon lze zvolit, ale nebylo vyzkoušeno. Toto sestavení nepoužívá grafické karty NVIDIA.

CPU threads

Výchozí: 0

0 vybere výkonná jádra u procesorů, které mají i úsporná jádra. Méně vláken nechá počítač během dabingu lépe reagovat.

Emotion

Výchozí: none

Každý řádek klonovaného nebo popsaného hlasu zazní s touto emocí. Zachová zvuk hlasu, ale ne způsob mluvy mluvčího, a má přednost před rychlostí, výškou hlasu a hlasitostí. Vestavěné hlasy ji ignorují.

Speed

Výchozí: normal

Pro klonované a popsané hlasy, když není nastavena žádná emoce. Stejně jako emoce zachová jen zvuk hlasu.

Pitch

Výchozí: normal

Jako rychlost: pro klonované a popsané hlasy, když není nastavena žádná emoce.

Volume

Výchozí: normal

Jako rychlost: pro klonované a popsané hlasy, když není nastavena žádná emoce.

Voice description

Výchozí: prázdné

Používá ho hlas „Voice you describe“: kdo mluví a jak, několika slovy, například „An elderly woman, soft and warm voice, slow pace“. Angličtina nebo čínština funguje pro každý jazyk.

Fallback reference clip

Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 10 sekund, kdy mluví jedna osoba.

Fallback reference transcript

Výchozí: prázdné

Přesná slova vyslovená v klipu výše. S nimi se klon víc přiblíží mluvčímu.

Clone the timbre only

Výchozí: vypnuto

Klonuje jen zvuk hlasu, ne projev z klipu. Zkuste to, když dabing do jiného jazyka drží přízvuk mluvčího, nebo když vaše titulky řečené parafrázují.

Jazyky

Čínština, angličtina, japonština, korejština, němčina, francouzština a španělština. Každý hlas mluví všemi z nich.

zh
en
ja
ko
de
fr
es

Platformy

Systém	Stažení	Otestováno
Linux x86-64	321.2 MB	Nadabováno skutečným modelem na skutečném počítači
macOS (Apple silicon)	335.7 MB	Sestaveno a ověřeno v CI (Apple Silicon)
Windows x86-64	216.4 MB	Sestaveno a ověřeno v CI

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a CI ověří, že sestavení obsahuje vše potřebné k mluvení. CI samotný model nespouští.

Řešení potíží

network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
disk_fullNa disku není dost místa pro model. Potřebuje asi 3,4 GB volného místa.
oomNedostatek paměti. Zavřete jiné programy; Ming-3.0-tts potřebuje asi 5 GB volných.
bad_paramsŘádek nemá text, klonovaný hlas nedostal vzorek, nebo Voice you describe nemá popis. Zpráva uvede, které: otevřete video, nastavte Fallback reference clip, nebo napište Voice description.
unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti. Pokud jste změnili Inference device, vraťte ho na Automaticky.

Licence

Doplněk

Apache-2.0

Engine

MIT

Ming-3.0-tts od inclusionAI (Ant Group)

Model

MIT

Váhy Ming-3.0-tts-0.5B

Vhodné pro komerční práci: doplněk je pod Apache-2.0 a kód Ming-3.0-tts i váhy Ming-3.0-tts-0.5B jsou pod MIT. Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečná osoba: klonujte jen hlasy, které máte právo použít, a tam, kde na tom záleží, uveďte, že dabing je syntetický.

Ming-3.0-tts (offline, voice clone, 7 languages)

Co dělá

Před instalací

Hlasy

Klonovaný hlas

Vestavěné hlasy

Popsané hlasy

Emoce, rychlost, výška a hlasitost

Modely

Možnosti

Jazyky

Platformy

Řešení potíží

Licence

Verze

Další doplňky skupiny Hlasy