llm-integration

Thông báo của OpenAI ghi Sora API sẽ ngừng ngày 24/09/2026. Bốn bước inventory, export asset, dựng adapter và dual-run cần chạy trước mốc đó.

AI gateway giải quyết routing, fallback, chi phí và observability — không làm model thông minh hơn. Mốc nên dùng và cách chọn self-host hay managed.

Công thức ước tính hoá đơn LLM trước khi build, bốn chỗ token rò rỉ không đánh đổi chất lượng, và ngưỡng volume mà self-host mới rẻ hơn API.

Fine-tune tốn 2-4 tuần chuẩn bị dữ liệu và hàng nghìn USD training để đổi lấy 5-15% cải thiện. Khung quyết định và chỗ nên hoài nghi bảng giá.

Gộp semantic search và filter quan hệ vào một câu SQL với pgvector, và cách chặn bug HNSW âm thầm trả thiếu row khi WHERE hẹp trên bảng lớn.

Z.ai phát hành weights GLM-5.3: 756 GB trên 141 shard. Chi phí gọi API trên Cloudflare, điều khoản license, và khi nào tự host là vô nghĩa.

Gemini 3.7 Flash đưa lượng suy luận thành tham số. Ba chế độ budget, vì sao reasoning token đội hóa đơn, và cách chọn trần cho từng loại endpoint.

Paper arXiv đo Token Economy Score qua 151 lần chạy benchmark: task suy luận nhiều bước thì bật reasoning là lời, task tra cứu kiến thức chỉ đốt token.

Bản 2B đạt 77,9 trên MMEB-v2 và giữ 98,7% hiệu năng ảnh/video ở 256 chiều — vì sao số chiều vector là quyết định chi phí, không phải mặc định.

Đo thực tế trên 393 model: Anthropic chỉ cache khi bạn khai báo, OpenAI cache mặc định nhưng có ngưỡng 1.024 token. Cách bật và ba cái bẫy hay gặp.

Ranh giới chunk cắt mất ngoại lệ, còn similarity score không chứng minh evidence đúng. Hai lớp sửa: chunking theo cấu trúc và vòng đánh giá evidence.

Mỗi run của Pydantic AI giữ một danh sách hội thoại và gửi lại toàn bộ ở mỗi bước, khiến chi phí token tăng theo bình phương số bước chạy của agent.