#routing

Chuỗi do model sinh ra làm cache key là bug data-isolation chờ sẵn. Bốn thuộc tính bắt buộc của key, danh sách red flag, và lỗi tương tự ở tầng tool routing.

AI gateway giải quyết routing, fallback, chi phí và observability — không làm model thông minh hơn. Mốc nên dùng và cách chọn self-host hay managed.

Chạy model rẻ trước, chấm output bằng gate cấu trúc, chỉ escalate khi trượt: cách một team cắt 71% hóa đơn LLM và cái giá phải trả ở p95, p99.

OpenAI giảm giá GPT-5.6 Luna ~80%, Terra ~20% và thêm Sol Fast mode. Đây là quyết định model routing, không phải đợt giảm hóa đơn toàn dòng.

Compare Claude Code /advisor and claude-code-router. Real examples, when to use each, and a decision matrix for routing in May 2026.