Bỏ qua để vào nội dung chính
Bóc băng cuộc họp bằng whisper.cpp: chọn small hay turbo

Bóc băng cuộc họp bằng whisper.cpp: chọn small hay turbo

Bởi Mia Thompson
17 thg 11, 20264 phút đọc

Số đo thật từ một app Windows đã ship whisper.cpp: small q5_1 vs large-v3-turbo, CPU hay GPU, dung lượng build, và cách tránh để Whisper bịa nội dung.

Bạn có file ghi âm cuộc họp hai tiếng và không muốn đẩy nó lên bất kỳ dịch vụ cloud nào. Cài Whisper bản Python thì sa lầy: pip install, gỡ torch, cài lại từ CUDA index, sai version. Bài này lấy số đo thực tế từ một app Windows đã ship whisper.cpp, để bạn chọn đúng backend và model trước khi tải nhầm 1,2 GB.

Hai bản build, chênh nhau gần 80 lần dung lượng

whisper.cpp là bản port C/C++ của Whisper do Georgi Gerganov viết, và nó phát hành sẵn build Windows chính thức. Theo bài viết của nhà phát triển app AppGrabbit, bản CPU whisper-bin-x64.zip nặng 8.6 MB, còn bản CUDA 12.4 whisper-cublas-12.4.0-bin-x64.zip nặng 674 MB và khoảng 1,2 GB sau khi giải nén, phần lớn là cuBLAS DLL.

Model là file GGML đã quantize: ggml-small-q5_1.bin 190 MB, ggml-large-v3-turbo-q5_0.bin 574 MB, và voice detector ggml-silero-v5.1.2.bin chỉ 0,9 MB. Không cần Python runtime, không cần PyTorch — chỉ một executable whisper-cli.exe cùng các DLL của nó.

Số đo: có GPU thì turbo vừa nhanh nhất vừa chính xác nhất

Tác giả đo trên laptop Ryzen 7 6800HS (8 nhân), RTX 3050 Laptop 4 GB, Windows 11, với một bài TEDx tiếng Tây Ban Nha dài 7:19, đối chiếu bản transcript do người làm. Đây là số của chính nhà phát triển app, không phải benchmark độc lập.

ModelCPU (8 threads)RTX 3050Word error rate
small q5_181 s21 s8,5%
medium q5_0208 s34 s5,9%
large-v3-turbo q5_0276 s19 s5,1%

Kết luận của tác giả: có GPU thì turbo là mặc định hợp lý; không GPU thì small là lựa chọn duy nhất còn dùng được, khoảng 2 phút xử lý cho mỗi 10 phút audio, trong khi turbo trên CPU mất khoảng 6 phút. Medium không thắng ở đâu cả nên app chỉ ship small và turbo. Với một video NASA tiếng Anh dài 5:31, turbo chạy GPU hết 13 giây, WER 2,6–3,2%.

Quy tắc chọn backend, không hỏi người dùng

App tự quyết bằng vài điều kiện cứng: GPU không phải NVIDIA (AMD, Intel) thì chạy bản CPU; compute capability dưới 5.0 — Kepler trở về trước — cũng chạy CPU vì không chạy được CUDA 12; driver dưới 551.61 thì chạy CPU, vì CUDA 12.4 trên Windows cần mức driver đó. Thông tin GPU lấy từ nvidia-smi, fallback sang WMI Win32_VideoController.

Một chi tiết đáng chép lại: sau khi cài, app chạy smoke test trên 3 giây im lặng; nếu bản CUDA lỗi mà bản CPU chạy được thì lỗi nằm ở GPU, app nhớ lại và xoá luôn thư mục cuda 1,2 GB.

Bật VAD, nếu không model sẽ bịa

Cờ --vad bật Silero voice detector để bỏ qua nhạc và đoạn im lặng. Không có nó, large-v3-turbo từng bịa ra một dòng credits đè lên đoạn nhạc mở đầu của bài TEDx — thói quen đã biết của Whisper, học từ dữ liệu phụ đề.

whisper-cli -m ggml-large-v3-turbo-q5_0.bin -f audio.wav -l auto -t 4 ^
  --vad --vad-model ggml-silero-v5.1.2.bin -osrt -ojf -of output -pp

-l auto nhận diện ngôn ngữ, -osrt xuất phụ đề, -ojf xuất JSON kèm confidence từng token. Số thread: min(8, số nhân) khi chạy CPU, 4 khi chạy GPU. Audio phải convert sang WAV 16 kHz mono bằng FFmpeg trước khi gọi.

Đọc bảng số này thế nào nếu bạn làm tiếng Việt

Toàn bộ WER ở trên đo trên tiếng Tây Ban Nha và tiếng Anh; nguồn không đưa ra số nào cho tiếng Việt. Cách dùng an toàn là lấy 5–10 phút audio thật của bạn, chạy cả small lẫn turbo, rồi tự đếm lỗi trên văn bản thu được.

Biết trước giới hạn cũng đỡ mất thời gian: theo tác giả, bản này không gắn speaker label, không dịch, không nhận mic trực tiếp, và GPU AMD hay Intel hiện vẫn chạy bản CPU.

Việc nên làm ngay: kiểm tra driver NVIDIA trên máy đã từ 551.61 trở lên chưa, rồi tải đúng một bản build thay vì tải cả hai.

Không spam, hủy đăng ký bất kỳ lúc nào.

Bài viết liên quan