Parakeet & Nemotron luring, 33 bahasa

Fungsinya

Cara memakainya

Untuk mentranskripsi berkas, buka tab Impor, pilih Parakeet & Nemotron sebagai Mesin transkripsi, atur Bahasa subtitle, lalu tekan Mulai transkripsi. Subtitle muncul di linimasa selagi sisanya masih ditranskripsi: audio diproses satu menit sekaligus (setengah menit dengan Nemotron), sehingga bilah progres terus bergerak dan Batal berlaku dalam hitungan detik.

Untuk subtitle langsung, buka tab Audio dan pilih add-on ini sebagai Mesin transkripsi di bawah Perekaman.

Model

Ada tiga model, dan tidak satu pun ada di dalam add-on. Masing-masing diunduh ke cache model bersama Subtitld saat pertama kali dibutuhkan, dari halaman NVIDIA sendiri di Hugging Face, pada satu revisi yang dipatok dan diperiksa terhadap sidik jarinya. Unduhan yang terputus dilanjutkan dari titik berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

Pengaturan Model milik add-on menentukan model mana yang mentranskripsi berkas. Pada Automatic, nilai awalnya, Parakeet mengambil 25 bahasa yang dikenalnya dan Nemotron delapan bahasa lainnya. Anda juga bisa memilih Nemotron untuk bahasa yang dikenal keduanya; Parakeet tetap pilihan yang lebih baik di sana.

Parakeet memberi waktu pada setiap kata saat mendengarnya. Nemotron memberi waktu pada sebuah kata saat menuliskannya, menjelang akhir kata itu, sehingga add-on menggeser setiap kata mundur ke tempat kata itu diucapkan. Pada sebuah film uji, 76% subtitle Nemotron dimulai dalam selisih setengah detik dari subtitle asli film itu, dibandingkan 85% untuk Parakeet. Di atas musik dan efek suara, Nemotron sering tidak menulis tanda baca, sehingga subtitlenya juga berakhir pada jeda 0,8 detik.

Diukur pada prosesor laptop (Intel i7-13700T):

Tempat model disimpan

Ketiga model memakan sekitar 1,6 GB. Hapus folder itu untuk mengosongkan ruang; setiap model akan diunduh lagi saat dibutuhkan berikutnya.

Subtitle langsung

Selagi Anda merekam, Nemotron mendengar sedikit audio setelah setiap kata (560 ms secara bawaan; lihat Live caption delay) dan menulis kata-kata selagi Anda berbicara. Subtitld menampilkannya sampai kalimat selesai, lalu kalimat itu mengisi subtitlenya. Sebuah kalimat berakhir setelah 0,8 detik tanpa kata baru.

Pada pemakaian pertama, model Nemotron 742 MB diunduh, dan progres unduhan ditampilkan di tempat kata-kata nanti muncul. Subtitle langsung lebih sering keluar dalam huruf kecil dan tanpa tanda baca dibandingkan transkripsi berkas: untuk teks yang rapi, transkripsikan rekaman itu sesudahnya dengan Parakeet. Label pembicara hanya untuk berkas.

Opsi

Di Pengaturan › Pengaya › Parakeet & Nemotron (offline, 33 languages) › Atur.

Bahasa

33 bahasa. Parakeet mengenal 25: Bulgaria, Kroasia, Ceko, Denmark, Belanda, Inggris, Estonia, Finlandia, Prancis, Jerman, Yunani, Hongaria, Italia, Latvia, Lituania, Malta, Polandia, Portugis, Rumania, Rusia, Slovakia, Slovenia, Spanyol, Swedia, dan Ukraina. Nemotron mengenal 28: semua bahasa itu kecuali Yunani, Latvia, Lituania, Malta, dan Slovenia, ditambah Arab, Tionghoa, Hindi, Jepang, Korea, Norwegia, Turki, dan Vietnam. Subtitle langsung mencakup 28 bahasa Nemotron.

Kosongkan bahasa, dan Parakeet akan mengenali sendiri bahasa mana dari 25 bahasanya yang diucapkan. Nemotron diberi tahu bahasanya, dan untuk bahasa Inggris, Spanyol, Prancis, dan Portugis juga variannya: en-gb, es-es, fr-ca, dan pt-br menghasilkan bahasa Inggris Britania, Spanyol dari Spanyol, Prancis Kanada, dan Portugis Brasil. Tanpa wilayah, Nemotron mengharapkan bahasa Inggris Amerika, Spanyol Amerika Latin, Prancis dari Prancis, dan Portugis Eropa. Bahasa yang tidak dikenal kedua model akan mendapat pesan yang mencantumkan bahasa yang mereka kenal.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Platform

Linux x86-64 (distribusi apa pun dari tahun 2018 ke atas), macOS di Apple Silicon, dan Windows x86-64. Di x86-64, prosesornya harus mendukung AVX2: Intel sejak 2013 dan AMD sejak 2015. ffmpeg sudah disertakan bersama Subtitld.

Di Mac, add-on mencoba prosesor grafis (Metal) sekali, dalam proses terpisah, dan memakai prosesor jika itu gagal. Hasilnya disimpan di folder model, dalam metal-check.json. Untuk memilih sendiri, atur PARAKEET_NEMOTRON_DEVICE ke cpu atau gpu sebelum Anda memulai Subtitld.

Setiap rilis dibangun di ketiga sistem, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh modelnya, lalu mentranskripsi sebuah berkas dengan setiap model, dengan label pembicara, dan secara langsung.

Pemecahan masalah

• unsupported_languageModel tidak dapat mentranskripsi bahasa proyek; pesannya mencantumkan bahasa yang bisa. Atur Model ke Automatic, atau pilih mesin lain. Bahasa Yunani, Latvia, Lituania, Malta, dan Slovenia tidak punya subtitle langsung: transkripsikan berkasnya sesudah merekam.
• network_unavailableSebuah model tidak dapat diunduh, atau berkas yang diunduh gagal diperiksa dan dibuang. Periksa koneksi Anda dan coba lagi: unduhan dilanjutkan dari titik berhentinya.
• disk_fullRuang disk tidak cukup untuk model atau audio yang sudah didekode. Ketiga model memakan sekitar 1,6 GB.
• oomMemori habis. Tutup program lain: film yang panjang butuh sekitar 1,3 GB.
• bad_paramsSubtitld tidak dapat menyerahkan audio; pesannya menyebutkan alasannya.
• internalAda yang gagal di dalam add-on, sering kali ffmpeg saat mendekode audio atau model yang gagal dimuat. Pesannya berisi detailnya. Jika pesannya menyebutkan bahwa prosesor tidak memiliki AVX2, komputer ini tidak dapat menjalankan add-on ini.

Lisensi

Boleh untuk pekerjaan komersial. Add-on dan NeMo-Speech.cpp milik NVIDIA berlisensi Apache-2.0. Parakeet berlisensi CC-BY-4.0, yang meminta kredit untuk NVIDIA di mana pun bobot itu sendiri dibagikan. Kedua model Nemotron berlisensi OpenMDW-1.1, lisensi permisif untuk model yang tidak membatasi apa pun yang Anda buat dengannya. Model diunduh dari NVIDIA; add-on tidak menyertakannya. Subtitle yang Anda buat adalah milik Anda.