#benchmark

Hai benchmark mới đo agentic retrieval so với RAG: 99% vs 48% accuracy, và vì sao thiếu nguồn mới khiến agent trích dẫn trang chưa đọc.

Một eval chấm model 1.00 vì lặng lẽ loại ba call lỗi khỏi mẫu; điểm thật là 0,73. Bốn bug làm leaderboard nói dối và ba thói quen chặn chúng.

Mistral Large 4 đã gọi được qua AI Gateway nhưng bản weights còn vài tuần nữa. Ba bước đo trên workload thật trước khi đưa model vào kế hoạch.

Polymarket định giá Anthropic 99% về chất lượng và DeepSeek 97% về lượng dùng. Cách chia workload hai tầng và ngưỡng để quyết định self-host.

Fable 5.1 đắt gấp đôi Opus 5 nhưng chỉ hơn 3,5 điểm trên Terminal-Bench 4.0. Bảng giá, benchmark và các chỉ số cần đo trước khi bạn đổi model.

Thí nghiệm đo bằng golden set: recall@1 chỉ 6/10 dù recall@3 đạt 10/10, và chunk theo AST mới cứu được retrieval cho code — không phải reranker.

Astra và Fable 5.1 cùng giá $10/$50 mỗi 1M token. Khác biệt thật nằm ở giá cache, tốc độ output và việc ai là bên đứng ra đo benchmark trong launch week.

Từ vụ Codex chạy rm -rf trong issue #6801 đến benchmark LoopArena: cách gắn quyền shell và network của coding agent vào từng giai đoạn chạy.

Paper arXiv đo Token Economy Score qua 151 lần chạy benchmark: task suy luận nhiều bước thì bật reasoning là lời, task tra cứu kiến thức chỉ đốt token.

Chưa có model card, API entry hay ngày ra mắt cho DeepSeek V4.1. Đây là lineup V4 đã ship, benchmark V4 Pro, và cách để đổi model không phải sửa app.

Sau hai tuần dùng OpenCode, Cursor và Copilot làm daily driver, một dev kết luận: model không quyết định năng suất — context và workflow mới là thứ quyết định.

Bản beta Siri AI xử lý ngữ cảnh mơ hồ và chạy on-device qua Private Cloud Compute. So sánh với ChatGPT/Gemini, và điều VN đọc giả nên cân nhắc khi chọn máy.