#llm

Bill LLM tăng mà traffic không tăng: bốn chỗ tiền hay rò, bài audit 30 phút theo task, và số đo thật của các mẹo cắt token (-28,7% chỉ với hai chữ).

Bảy tình huống nên dùng phần mềm tất định thay vì LLM, năm cổng kiểm trước khi duyệt, và cách tính chi phí theo tác vụ thành công.

Viết prompt như hợp đồng bốn phần — role, task, constraints, output contract — để output không đổi dạng mỗi lần chạy, kèm đường thoát lỗi bắt được.

Quy trình ba tầng retrieval, context, generation giúp xác định lỗi ứng dụng LLM nằm ở đâu trước khi bạn tốn tiền đổi model hay chạy fine-tuning.

Cache theo hash chỉ hit dưới 4%. Dựng proxy ba tầng trước mọi lời gọi LLM: cache ngữ nghĩa, chuỗi fallback LiteLLM và circuit breaker theo tenant.

Một eval chấm model 1.00 vì lặng lẽ loại ba call lỗi khỏi mẫu; điểm thật là 0,73. Bốn bug làm leaderboard nói dối và ba thói quen chặn chúng.

Đếm token Claude bằng tiktoken lệch trung vị 14% trên một corpus 600 chunk. Sai số chỉ lộ ra khi prompt lấp đầy cửa sổ 200K, và luôn lệch một chiều.

Trỏ Claude Code sang free LLM API tier chỉ với hai biến môi trường, kèm bảng so sánh provider và router failover để job nền không chết khi gặp 429.

Trước khi hạ model vì hóa đơn API tăng vọt, hãy kiểm tra ba trường token trong usage: phần lớn chi phí rò ở prefix cache bị phá, chứ không nằm ở giá model.

Sửa prompt xong ship luôn rồi vỡ ba thứ khác? Một eval harness chỉ dùng stdlib Python biến prompt thành thứ test được và chặn regression ngay ở CI.

Polymarket định giá Anthropic 99% về chất lượng và DeepSeek 97% về lượng dùng. Cách chia workload hai tầng và ngưỡng để quyết định self-host.

Quy trình ba lượt quét — bảo mật, maintainability, hiệu năng — cùng checklist 5 mục giúp bạn dùng LLM review code mà không ship nhầm đề xuất phá production.