
Qwen2.5-Coder 32B vs Qwen3-Coder 30B-A3B trên card 24GB
Bảng VRAM thực đo cho card 24GB: bản dense 32B hết cửa ở 16K, còn MoE A3B bản AWQ chỉ chiếm 19.2 GB ở 32K token. Chọn theo độ dài context bạn cần.
Bạn có một card 24GB — RTX 4090, 3090 hoặc 7900 XTX — và muốn chạy coding model local để khỏi trả tiền API. Câu hỏi thật không phải "model có load được không", mà như một bài phân tích trên Dev.to đặt ra: "does it load with enough context to read my files".
Bài đó dựng bảng VRAM cho hai lựa chọn phổ biến nhất hiện nay. Dưới đây là các con số và cách đọc chúng.
Qwen2.5-Coder 32B: ngon cho prompt ngắn, hết cửa ở 16K
Với bản dense 32B, bảng đo cho thấy ngưỡng context là nút thắt, không phải việc nạp model:
| Build | 4K | 8K | 16K | 32K |
|---|---|---|---|---|
| GGUF Q4_K_M | 21.7 GB (90%, chật) | 95% | không vừa | không vừa |
| AWQ INT4 | 18.1 GB (75%) | 80% | 89%, chật | không vừa |
| EXL2 3.5bpw | 16.0 GB | — | — | — |
Kết luận của tác giả: "the dense 32B is great for chat-length prompts. AWQ via vLLM gives you comfortable 8K (Linux / WSL2 only)." Nghĩa là nếu bạn định ném cả file 800 dòng vào context, bản dense này sẽ chặn bạn ở mức quantize chứ không phải ở chất lượng code.
Qwen3-Coder 30B-A3B: đổi kiến trúc để lấy context
Bản MoE đi theo hướng khác. Cùng card 24GB, bảng đo ghi:
| Build | 4K | 32K |
|---|---|---|
| GGUF Q4_K_M | 19.8 GB (83%) | 22.7 GB (95%, chật) |
| AWQ INT4 | 16.4 GB | 19.2 GB (80%, thoải mái) |
AWQ INT4 ở 32K chỉ chiếm 19.2 GB — tức là bạn có cửa sổ gấp bốn lần bản dense mà vẫn còn chỗ thở trên cùng một card. Lý do kiến trúc được nêu trong bài: "Only ~3B active parameters per token, so its bandwidth ceiling is far higher than a dense 32B."
Một cảnh báo quan trọng từ chính tác giả, và đừng bỏ qua nó: "the site has no measured run of it and runs no coding benchmarks, so this is about fit, not code quality." Toàn bộ bảng trên nói về chuyện vừa VRAM, không nói model nào viết code tốt hơn.
Nếu bạn cần dài hơn 32K
Bài viết nhắc thêm một lựa chọn: North Mini Code 1.0 30B-A3B bản GGUF Q4_K_M chiếm khoảng 20.8 GB ở 32K và khoảng 23.5 GB ở 128K (chật). Chi tiết giải thích vì sao nó co được: chỉ 13 trong 49 layer giữ cache tăng dần theo độ dài.
Chạy thử trong 5 phút
Hai lệnh khởi động tác giả đưa ra (ví dụ minh hoạ, chỉnh port và đường dẫn theo máy bạn):
# bản dense 32B, cửa sổ mặc định 4K
ollama pull qwen2.5-coder:32b
# bản AWQ, 8K thoải mái
vllm serve Qwen/Qwen2.5-Coder-32B-Instruct-AWQ --max-model-len 8192 --host 127.0.0.1 --port 8000
Lưu ý vLLM với AWQ chỉ chạy trên Linux hoặc WSL2 theo ghi chú trong bài, nên nếu bạn đang ở Windows thuần thì GGUF qua Ollama là đường ngắn hơn.
Chốt lại
TL;DR của tác giả gọn đúng hai trường hợp: prompt ngắn và cần coder dense tốt nhất thì chọn Qwen2.5-Coder 32B bản AWQ; cần đọc cả file hoặc cả repo trên một card thì chọn một MoE dạng A3B.
Việc nên làm tiếp: đo chính workload của bạn. Lấy 20 prompt thật trong ngày làm việc, đếm xem bao nhiêu phần trăm vượt 8K token — con số đó quyết định thay bạn, chứ không phải bảng VRAM.
Không spam, hủy đăng ký bất kỳ lúc nào.
Bài viết liên quan

Claude Code lái iPhone thật: tự quay video review App Store
13 thg 11, 2026
Claude Code 2.1.323: soát lại .claude config trước khi vỡ
13 thg 11, 2026