llm-integration

Viết prompt như hợp đồng bốn phần — role, task, constraints, output contract — để output không đổi dạng mỗi lần chạy, kèm đường thoát lỗi bắt được.

Cache theo hash chỉ hit dưới 4%. Dựng proxy ba tầng trước mọi lời gọi LLM: cache ngữ nghĩa, chuỗi fallback LiteLLM và circuit breaker theo tenant.

Ollama mặc định num_ctx 2048 và cắt đầu prompt mà không báo lỗi. Cách phát hiện bằng prompt_eval_count, sửa bằng Modelfile, và cái giá VRAM phải trả.

Một eval chấm model 1.00 vì lặng lẽ loại ba call lỗi khỏi mẫu; điểm thật là 0,73. Bốn bug làm leaderboard nói dối và ba thói quen chặn chúng.

Haiku 5.5 về $0.10/$0.50 dưới 100.000 token, nhưng tokenizer mới và reasoning mặc định làm hóa đơn lệch. Ba con số cần đo trước khi đổi model.

Model timeout, JSON sai schema, hóa đơn API gấp đôi: các chốt chặn giúp feature AI hỏng mà không kéo cả web app production của bạn chết theo.

Đếm token Claude bằng tiktoken lệch trung vị 14% trên một corpus 600 chunk. Sai số chỉ lộ ra khi prompt lấp đầy cửa sổ 200K, và luôn lệch một chiều.

Bật speculative decoding trên vLLM có thể kéo throughput xuống còn 0,65x khi concurrency cao. Đây là phần toán acceptance rate cần làm trước.

Mistral Large 4 đã gọi được qua AI Gateway nhưng bản weights còn vài tuần nữa. Ba bước đo trên workload thật trước khi đưa model vào kế hoạch.

Index HNSW lọc sau nên LIMIT 10 có thể trả về 0 dòng, còn retry của hàng đợi không phải idempotency. Hai lỗi không sinh log, và cách bắt chúng kêu.

Trước khi hạ model vì hóa đơn API tăng vọt, hãy kiểm tra ba trường token trong usage: phần lớn chi phí rò ở prefix cache bị phá, chứ không nằm ở giá model.

Dự án mã nguồn mở dùng NotificationListenerService và RemoteInput thay cho scraping, nối thẳng Gemini API bằng key cá nhân. Đọc kỹ tuyên bố 0% ban risk.