Sopro (offline, voice clone, 4 languages)

SeslerÇevrimdışıYalnızca CPUSes klonlamaTicari kullanıma uygun

Altyazılarınızı Sopro V2 Turbo ile İngilizce, Avrupa Portekizcesi, Fransızca ve Almanca olarak seslendirir: her konuşmacının videonun birkaç saniyesinden klonlanan kendi sesiyle ya da 8 hazır sesten biriyle. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, gerçek zamandan yaklaşık iki kat hızlı çalışır.

Subtitld'den yükleyin

Ayarlar Eklentiler Sopro (offline, voice clone, 4 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
4
Modeller
1
Sesler
9
Eklenti indirmesi
38–61 MB
En az RAM
1.5 GB

Ne yapar

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan birkaç saniyesini keser ve her satırla birlikte gönderir. Sopro o sesi klonlar; böylece dublaj, dört dilinden herhangi birinde, ekrandaki kişi gibi duyulur.

Her bilgisayarda hızlı

Sopro V2 Turbo, 120 milyon parametreli küçük bir model. Bir dizüstü bilgisayar işlemcisinde gerçek zamandan yaklaşık iki kat hızlı konuşur ve yaklaşık 1 GB bellek kullanır.

İlk satırdan sonra çevrimdışı

Model bir kez, onunla ilk seslendirdiğinizde iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Ticari işler için ücretsiz

Eklenti, Sopro ve modeli Apache-2.0. Hazır sesler, kayıtları kamu malı olan LibriVox okuyucularıdır.

Kurmadan önce

Sopro bilgisayarınızdan pek az şey ister:

  • Disk: model için yaklaşık 340 MB, ilk satırda iner.
  • Bellek: konuşurken yaklaşık 1 GB.
  • İşlemci: herhangi bir 64 bit Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.

Bir sesi yalnızca sahibinin rızasıyla klonlayın. Sopro'nun yazarı, onun asla başka biri gibi görünmek için kullanılmamasını istiyor.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Sopro'yu seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

9 ses.

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır. En iyi örnek, konuşmacının müzik ya da başka sesler olmadan tek başına konuştuğu 5 ila 20 saniyedir.

Hazır sesler
Kadın İngilizce, Portekizce, Fransızca, Almanca
Erkek İngilizce, Portekizce, Fransızca, Almanca

Her hazır ses, o dilde bir kitap okuyan bir LibriVox gönüllüsüdür. Her hazır ses dört dilin hepsini konuşur; kendi dili ona yalnızca bir aksan verir. Bu yüzden en doğal dublaj için projenizin dilinden birini seçin.

Modeller

Sopro'nun dört dilin hepsi için tek bir modeli var. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.

Model İndirmeUygun olduğu
Sopro V2 Turbo (120M, ONNX) Varsayılan sopro-v2-turbo
336 MB
Her ses, dört dilin tamamında, gerçek zamandan yaklaşık 2,5× hızlı

Eklenti, Sopro'nun yazarının yayımladığı ONNX derlemesini PyTorch olmadan çalıştırır. Bunu dört dilin hepsinde, aynı satırlarda resmi PyTorch derlemesiyle karşılaştırdık: daha fazla hata yapmadı ve konuşmacıya aynı ölçüde yakın duyuldu.

Seçenekler

Ayarlar › Eklentiler › Sopro (offline, voice clone, 4 languages) › Yapılandır bölümünde.

CPU threads
Varsayılan: 0

0, bilgisayarın mantıksal işlemcilerinin yarısını, en çok 8 tanesini kullanır. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Variation
Varsayılan: 0.8

Düşük değer daha dengeli ve daha düz, yüksek değer daha canlıdır ama daha sık sapar. 0,8 Sopro'nun kendi varsayılanıdır.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 5 ila 20 saniye.

Diller

İngilizce, Avrupa Portekizcesi, Fransızca ve Almanca. Brezilya Portekizcesi metin de okunur, ama Avrupa aksanıyla. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

Önemli olduğu yerde sayıları ve sembolleri sözcüklerle yazın: Sopro "1 + 2"yi "one plus two"dan daha az güvenilir okur. Bir cümlenin içindeki başka dilden bir sözcük yanlış telaffuz edilebilir.

  • en
  • pt
  • fr
  • de

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 61.1 MBGerçek bir makinede ve CI'da gerçek modelle seslendirildi
macOS (Apple silicon) 43.2 MBCI'da gerçek modelle seslendirildi (Apple Silicon)
Windows x86-64 38.1 MBCI'da gerçek modelle seslendirildi

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modeli indirir ve onunla seslendirir.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok. Yaklaşık 340 MB gerekir.
  • unsupported_languageProjenin dili bu dört dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
  • out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın: Sopro yaklaşık 1 GB ister.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
Motor
Apache-2.0
Sopro, Samuel Vitorino tarafından; ONNX Runtime MIT
Model
Apache-2.0
Sopro V2 Turbo ağırlıkları
Hazır sesler
Public domain, CC-BY-4.0
LibriVox okuyucuları; İngilizce olanlar LibriTTS-R üzerinden

Ticari işler için uygundur: eklenti, Sopro ve Sopro V2 Turbo modeli Apache-2.0. Hazır sesler kamu malı olan LibriVox kayıtlarıdır; İngilizce olanlar CC-BY-4.0 lisanslı LibriTTS-R üzerinden gelir ve eklenti her birinin adını anar. Yaptığınız dublajlar sizindir.

Sürümler

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Diğer Sesler eklentileri