llm-integration

Apple đưa model on-device vào macOS 27 qua lệnh fm. Một bài test cho thấy JSON trả về đúng schema nhưng sai số liệu, và giới hạn context không như tin đồn.

Prompt 1.8 giây ở p50 vẫn vọt lên 18–35 giây ở p99, còn JSON hỏng 1–3%. Bốn guardrail đặt quanh mỗi lần gọi LLM để worker pool và hóa đơn không gãy.

Chrome chạy model tóm tắt ngay trên máy người dùng, không cần API key. Dựng đủ vòng đời: kiểm tra khả dụng, tải model, hủy request và chặn race.

Tám nhà cung cấp còn cho gọi API LLM ở mức $0 mà không cần đăng ký thẻ. Hạn mức cụ thể của Groq, Gemini, OpenRouter và năm bên còn lại, chốt 22/10/2026.

Khảo sát giá 66 model và một phép đo tokenizer cho thấy ba đòn bẩy cắt hoá đơn LLM: chọn đúng tier, bật cache, và tự đo token cho prompt tiếng Việt.

Dung lượng package và trạng thái hỗ trợ runtime là hai con số quyết định model nào chạy nổi trên máy bạn. Cách tra cả hai trước khi bấm tải.

Endpoint OpenAI-compatible giúp đổi sang model mở chỉ bằng base_url và api_key. Kèm cách tính VRAM trước khi quyết định chạy local.

Chunk PDF giữ heading và số trang, rồi dựng cổng kiểm: golden dataset 10-50 dòng, rule check miễn phí và ba metric đo riêng retrieval.

Reflection AI mở Beam 501B theo giấy phép Apache 2.0. Bản NVFP4 cần ~280 GB, BF16 tới 1 TB — đây là cách chọn giữa tự host và gọi qua AI Gateway.

Bill LLM tăng mà traffic không tăng: bốn chỗ tiền hay rò, bài audit 30 phút theo task, và số đo thật của các mẹo cắt token (-28,7% chỉ với hai chữ).

Bảy tình huống nên dùng phần mềm tất định thay vì LLM, năm cổng kiểm trước khi duyệt, và cách tính chi phí theo tác vụ thành công.

Gemini 4 Argon có giá giới thiệu $2 cho mỗi triệu input token và tăng gấp đôi cuối tháng 11. Sáu bước tính lại chi phí API thật trước khi đổi model.