#llama

Agent trên model 3-4B hay báo xong mà không làm gì. Năm lỗi thật sự nằm ở parser tool-call, schema bị ẩn và timeout — kèm cách sửa cụ thể.

Model 8B chạy vừa 16 GiB bỗng thành bài toán 32 GiB khi bạn bật 128k context. Công thức tính KV cache và cách chọn num_ctx đúng cho máy bạn.

Bật speculative decoding trong LM Studio mất chưa tới 10 phút. Tác giả XDA đo được 23,35 lên 29,46 token/giây — và đây là lúc không nên bật.

Ngày 13/9/2026 có 12 thay đổi giá token: DeepSeek V4 Pro tăng hơn gấp đôi, GLM 5.3 và Llama 3.1 70B giảm. Cách tính lại chi phí model cho team.

Một guide trên Dev.to claim tự host Llama 3.3 70B rẻ hơn Claude Opus API cả trăm lần. Số liệu GPU, chi phí, và điểm hoà vốn — đọc kỹ trước khi tin.

Claude Sonnet API ($3/1M tokens) vs self-hosted Llama 3.2 90B (~$20/mo). The math flips at 303 prompts/day — self-hosting saves $46–$600/mo above that threshold.