Parakeet & Nemotron ngoại tuyến, 33 ngôn ngữ

Nó làm gì

Cách dùng

Để chuyển một tệp thành văn bản, mở tab Nhập, chọn Parakeet & Nemotron làm Công cụ chuyển thành văn bản, đặt Ngôn ngữ phụ đề rồi nhấn Bắt đầu chuyển thành văn bản. Phụ đề hiện dần trên dòng thời gian trong khi phần còn lại vẫn đang được chuyển: âm thanh được xử lý mỗi lần một phút (nửa phút với Nemotron), nên thanh tiến trình luôn chạy và Hủy có hiệu lực trong vòng vài giây.

Để có phụ đề trực tiếp, mở tab Âm thanh và chọn nó làm Công cụ chuyển thành văn bản dưới Ghi âm.

Mô hình

Có ba mô hình, và không mô hình nào nằm trong tiện ích bổ sung. Mỗi mô hình được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu cần đến, từ chính các trang của NVIDIA trên Hugging Face, ở một phiên bản cố định và được kiểm tra với dấu vân tay của nó. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại các mô hình.

Thiết lập Model của tiện ích bổ sung quyết định mô hình nào chuyển một tệp thành văn bản. Ở Automatic, giá trị mặc định, Parakeet đảm nhận 25 ngôn ngữ mà nó biết và Nemotron đảm nhận tám ngôn ngữ còn lại. Bạn cũng có thể chọn Nemotron cho một ngôn ngữ mà cả hai đều biết; dù vậy, với những ngôn ngữ đó Parakeet vẫn là lựa chọn tốt hơn.

Parakeet gán thời gian cho từng từ ngay khi nghe thấy nó. Nemotron gán thời gian cho một từ khi viết nó ra, gần cuối từ, nên tiện ích bổ sung dời mỗi từ lùi về đúng chỗ nó được nói. Trên một bộ phim thử nghiệm, 76% phụ đề của Nemotron bắt đầu lệch không quá nửa giây so với phụ đề gốc của phim, so với 85% của Parakeet. Khi có nhạc và hiệu ứng âm thanh, Nemotron thường không viết dấu câu, nên phụ đề của nó cũng kết thúc ở một khoảng lặng 0,8 giây.

Đo trên bộ xử lý của máy tính xách tay (Intel i7-13700T):

Nơi lưu mô hình

Cả ba mô hình chiếm khoảng 1,6 GB. Xóa thư mục để giải phóng dung lượng; mỗi mô hình sẽ được tải lại khi cần đến lần sau.

Phụ đề trực tiếp

Trong lúc bạn ghi âm, Nemotron nghe trước một chút phía sau mỗi từ (mặc định 560 ms; xem Live caption delay) và viết các từ ra ngay khi bạn nói. Subtitld hiển thị chúng cho đến khi câu kết thúc, rồi câu đó điền vào phụ đề của nó. Một câu kết thúc sau 0,8 giây không có từ mới.

Lần đầu tiên, mô hình Nemotron 742 MB được tải về, và tiến trình tải hiện ở chỗ các từ sẽ xuất hiện. Phụ đề trực tiếp thường ra chữ thường và không có dấu câu hơn so với khi chuyển tệp: để có văn bản sạch, hãy chuyển bản ghi thành văn bản sau đó bằng Parakeet. Nhãn người nói chỉ dành cho tệp.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Parakeet & Nemotron (offline, 33 languages) › Cấu hình.

Ngôn ngữ

33 ngôn ngữ. Parakeet biết 25: tiếng Bulgaria, tiếng Croatia, tiếng Séc, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Estonia, tiếng Phần Lan, tiếng Pháp, tiếng Đức, tiếng Hy Lạp, tiếng Hungary, tiếng Ý, tiếng Latvia, tiếng Litva, tiếng Malta, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Romania, tiếng Nga, tiếng Slovakia, tiếng Slovenia, tiếng Tây Ban Nha, tiếng Thụy Điển và tiếng Ukraina. Nemotron biết 28: tất cả các ngôn ngữ đó trừ tiếng Hy Lạp, tiếng Latvia, tiếng Litva, tiếng Malta và tiếng Slovenia, cùng với tiếng Ả Rập, tiếng Trung, tiếng Hindi, tiếng Nhật, tiếng Hàn, tiếng Na Uy, tiếng Thổ Nhĩ Kỳ và tiếng Việt. Phụ đề trực tiếp bao gồm 28 ngôn ngữ của Nemotron.

Để trống ngôn ngữ thì Parakeet sẽ tự nhận ra ngôn ngữ nào trong 25 ngôn ngữ của nó đang được nói. Nemotron được cho biết ngôn ngữ, và với tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp và tiếng Bồ Đào Nha thì cả biến thể: en-gb, es-es, fr-ca và pt-br cho ra tiếng Anh Anh, tiếng Tây Ban Nha của Tây Ban Nha, tiếng Pháp Canada và tiếng Bồ Đào Nha Brazil. Không có vùng, nó mặc định là tiếng Anh Mỹ, tiếng Tây Ban Nha châu Mỹ, tiếng Pháp của Pháp và tiếng Bồ Đào Nha châu Âu. Một ngôn ngữ mà cả hai mô hình đều không biết sẽ nhận được thông báo liệt kê các ngôn ngữ chúng biết.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Nền tảng

Linux x86-64 (mọi bản phân phối từ năm 2018 trở đi), macOS trên Apple Silicon và Windows x86-64. Trên x86-64, bộ xử lý cần hỗ trợ AVX2: Intel từ năm 2013 và AMD từ năm 2015 trở đi. ffmpeg đi kèm với Subtitld.

Trên máy Mac, tiện ích bổ sung thử bộ xử lý đồ họa (Metal) một lần, trong một tiến trình riêng, và dùng bộ xử lý nếu việc đó thất bại. Kết quả được lưu trong thư mục mô hình, ở tệp metal-check.json. Để tự chọn, hãy đặt PARAKEET_NEMOTRON_DEVICE thành cpu hoặc gpu trước khi khởi động Subtitld.

Mỗi bản phát hành được dựng trên cả ba hệ thống, và trên mỗi hệ thống, CI cài tiện ích bổ sung giống như Subtitld làm, tải các mô hình và chuyển một tệp thành văn bản với từng mô hình, có nhãn người nói, và cả trực tiếp.

Khắc phục sự cố

• unsupported_languageMô hình không chuyển được ngôn ngữ của dự án thành văn bản; thông báo liệt kê các ngôn ngữ nó làm được. Hãy đặt Model thành Automatic, hoặc chọn một công cụ khác. Tiếng Hy Lạp, tiếng Latvia, tiếng Litva, tiếng Malta và tiếng Slovenia không có phụ đề trực tiếp: hãy chuyển tệp thành văn bản sau đó.
• network_unavailableKhông tải được một mô hình, hoặc một tệp đã tải không qua được bước kiểm tra và đã bị loại bỏ. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục từ chỗ đã dừng.
• disk_fullKhông đủ dung lượng đĩa cho các mô hình hoặc cho âm thanh đã giải mã. Cả ba mô hình chiếm khoảng 1,6 GB.
• oomHết bộ nhớ. Đóng các chương trình khác: một bộ phim dài cần khoảng 1,3 GB.
• bad_paramsSubtitld không chuyển được âm thanh; thông báo cho biết lý do.
• internalCó lỗi bên trong tiện ích bổ sung, thường là do ffmpeg giải mã âm thanh hoặc một mô hình không nạp được. Thông báo có chi tiết. Nếu thông báo nói bộ xử lý thiếu AVX2, máy tính này không chạy được tiện ích bổ sung.

Giấy phép

Phù hợp cho công việc thương mại. Tiện ích bổ sung và NeMo-Speech.cpp của NVIDIA theo Apache-2.0. Parakeet theo CC-BY-4.0, giấy phép này yêu cầu ghi công NVIDIA ở bất cứ nơi nào chính các trọng số được chia sẻ. Hai mô hình Nemotron theo OpenMDW-1.1, một giấy phép mở, ít ràng buộc dành cho mô hình, không đặt giới hạn nào lên những gì bạn làm ra với chúng. Các mô hình được tải từ NVIDIA; tiện ích bổ sung không kèm theo chúng. Phụ đề bạn làm ra là của bạn.