
Giá token giảm, hoá đơn LLM thì không: 2 chỗ rò tiền cần vá
Prompt cache trượt và effort level mặc định là hai chỗ ngốn tiền nằm ngoài bảng giá token. Cách phát hiện, cách vá và những chỉ số cần log lại.
Provider vừa giảm giá token, code của bạn không đổi một dòng, nhưng hoá đơn tháng này vẫn không giảm. Bảng giá và invoice đang nói hai chuyện khác nhau.
Hai chỗ rò tiền phổ biến nhất nằm ngoài giá token: prompt cache trượt, và effort/thinking level để mặc định quá cao. Dưới đây là cách phát hiện và vá cả hai.
Rò rỉ 1: cache trượt vì một dòng tưởng vô hại
Một tác giả trên Dev.to kể lại ca của chính mình: con support bot gửi cùng một system prompt 1,300 token mỗi request, nhưng khi đo thì chỉ 7% input token được cache. Thủ phạm là dòng mở đầu Today is 2026-11-13 09:14:07 UTC. You are helping Acme Robotics.
Lý do nằm ở cơ chế. Theo bài viết, prompt cache của provider tái sử dụng một prefix khớp chính xác, tính từ token đầu tiên, và chỉ khi prefix đủ dài — tác giả lên kế hoạch với khoảng 1,024 token, đếm theo bước 128 token, theo cách OpenAI ghi trong tài liệu cho các model anh dùng. Đổi một byte ở đầu prompt là toàn bộ phần sau miss.
Timestamp có giây, GUID, request id, tên tenant đều phá prefix theo cùng một cách. Cách vá cũng chỉ có một: phần ổn định (instructions + reference material) đứng trước và byte-identical mỗi lần, mọi thứ thay đổi đẩy xuống user message cuối.
Cache gắn theo model — router "rẻ hơn" có thể đắt hơn
Chi tiết hay bị bỏ qua: cache là per-model. Bài viết dẫn rằng cache diagnostics của OpenAI liệt kê model_changed như một lý do miss. Hệ quả rất cụ thể với ai đang làm routing: một model rẻ hơn nhưng cache nguội có thể tốn hơn là ở lại model đang warm cả hội thoại. Triệu chứng là routing tiết kiệm ít hơn hẳn mức bảng giá hứa.
Nếu bạn chạy cascade small-model-first, router cần cache-aware: ước lượng cached token cho từng ứng viên trước khi gọi, rồi so chi phí kỳ vọng thay vì so đơn giá.
Luật cache còn khác nhau giữa các provider, nên đừng bê nguyên giả định. Với Gemini 4 Hydrogen, Google bỏ explicit caching — cachedContents và caches.create không được hỗ trợ; đổi lại implicit caching chạy tự động với prompt từ 4,096 token và giảm 95% giá cached input.
Rò rỉ 2: effort level mới là đòn bẩy, không phải đơn giá
Đơn giá chỉ là một nửa phép tính. Theo một phân tích trên Dev.to, Anthropic giảm 20% giá token của Claude Fable 5.2, một ngày sau Google ra Gemini 4 Carbon với giá bằng một phần tư Fable. Nhưng trong thử nghiệm của Artificial Analysis mà bài dẫn lại, một task Fable 5.2 ở max effort tốn $26.54, so với $12.99 cho Fable 5.1 — vì model mới viết ra khoảng 1.7 lần số output token.
Kết luận của tác giả: đòn bẩy thật là effort setting. Ở max effort thì Carbon thắng về chi phí, nhưng chỉ cần đổi đúng setting đó là phần lớn khoảng cách biến mất.
Giá trị mặc định cũng là một khoản chi ngầm. Gemini 4 Hydrogen có bốn mức thinking — low, medium, high (mặc định của API) và xhigh; minimal bị trả về lỗi. Thinking token tính như output ở $7.50/1M, nên để trống level đồng nghĩa trả tiền cho nhiều thinking hơn một lượt chat thường cần.
Đo trước, đổi sau
Không rò rỉ nào ở trên tự lộ ra nếu bạn không đọc số provider trả về. Với .NET, tác giả chỉ ra Microsoft.Extensions.AI 10.11 map prompt_tokens_details.cached_tokens sang UsageDetails.CachedInputTokenCount. Phía Gemini, SDK expose usage.outputTokenDetails.reasoningTokens — log cả hai, không đoán.
Về mức tiết kiệm, tác giả báo cáo cùng 102 request chỉ đổi cách bố trí prompt: từ 7% lên 92% input token được cache, chi phí giảm từ $0.363 xuống $0.094, tức khoảng 3.86 lần. Anh nói thẳng đây là số từ offline simulator của mình chạy theo luật cache tài liệu hoá của OpenAI và list price, không phải benchmark trên model live — coi nó là hình dạng của khoản tiết kiệm, không phải con số để đưa vào dự toán.
Việc nên làm tuần này
- Log cached token và reasoning token theo từng request, trước khi tối ưu bất cứ thứ gì.
- Grep prefix ổn định tìm ISO date, giờ, GUID, id dài và tên tenant — đẩy hết xuống message cuối.
- Chạy workload thật ở vài mức effort/thinking rồi tính chi phí trên mỗi task hoàn thành, không phải giá mỗi 1M token.
- Nếu có routing, kiểm tra xem nó có đang trả tiền cho cache nguội mỗi lần đổi model không.
Không spam, hủy đăng ký bất kỳ lúc nào.
Bài viết liên quan

Kiểm soát chi phí LLM: ngân sách, fallback và cách đo đúng
05 thg 11, 2026
Prompt injection qua PDF: dựng pipeline trích xuất an toàn
02 thg 11, 2026