
llama.cpp 1.0: API đã ổn định, nhưng vẫn nên pin version
llama.cpp 1.0.0 xoá 35 hàm deprecated và chốt quy tắc version rõ ràng. Nhưng case Clover-35B cho thấy vì sao bạn vẫn nên pin version trong CI.
llama.cpp phát hành 1.0.0 ngày 13/11/2026, xoá 35 hàm API deprecated và cam kết chỉ breaking change khi lên major version.
Với team đang chạy model local — desktop app, chatbot nội bộ, hay một server inference OpenAI-compatible — đây là lần đầu bạn có một hợp đồng API để dựa vào, thay vì pin commit hash rồi cầu cho không có gì đổi bên dưới.
1.0 xoá những gì
Bản 1.0 dùng mốc major version để dọn public API. Theo release, 35 hàm deprecated bị xoá, cùng với setter llama_set_warmup và tuỳ chọn defragmentation-threshold. API NextN cho speculative decoding chuyển từ header mở rộng llama-ext.h sang llama.h — tức là vào thẳng vùng public API được bảo vệ bởi quy tắc ổn định mới. Thư viện tensor đi kèm là ggml cũng ra v1.0.0 cùng lúc, và cắt bỏ API deprecated cùng các legacy operation của riêng nó.
Nếu codebase còn gọi mấy hàm đó, build sẽ gãy ngay lúc nâng. Grep trước, nâng sau.
Quy tắc version: đọc kỹ ba dòng này
💡 Gợi ý tool: Nếu bạn đang triển khai tương tự, Chatbase — Build AI chatbots for your website in minutes. Train on your docs, FAQ, and PDFs..
Quy tắc gắn với public C API trong thư mục include của project:
- MAJOR — breaking change với public C API.
- MINOR — tính năng tương thích ngược, cập nhật backend, thêm model, hoặc thêm API.
- PATCH — sửa bug, không đổi API.
Nghĩa là đi từ v1.0.0 lên v1.0.1 phải là một bản vá lỗi thuần tuý. Tác giả project, Georgi Gerganov, giải thích lý do:
"Every new integration means more developers depending on our library interfaces and therefore having a flexible but stable API is paramount."
Có gì mới dưới nắp
Ngoài cam kết API, bản này còn có phần cứng tay nghề: KV-cache OCP FP8 qua kiểu f8_e4m3 kèm static per-tensor scale tuỳ chọn, giúp giảm bộ nhớ cho hội thoại dài; host-memory MoE expert cache với CPU share cấu hình được, để model mixture-of-experts chạy khá hơn trên máy không có GPU lớn; ba kiến trúc text mới là Kimi-K3.1-Pro, Ripple và xing4_0.
Đáng chú ý với ai đang expose llama-server trong mạng nội bộ: bản này vá SSRF, CORS và DNS-rebinding, đồng thời giới hạn HF_TOKEN chỉ gửi tới host huggingface.co. Thêm endpoint /v1/audio/speech, web UI thiết kế lại, và script cài nhanh chính thức cho Unix lẫn Windows. Project hiện hỗ trợ hơn 150 biến thể kiến trúc model, artifact pre-release phủ Linux, macOS, Windows, Android và iOS.
"Được support" không đồng nghĩa với chạy nhanh
Clover-35B-A3B-Preview của DiffuSpace là ví dụ rõ nhất. PR #31306 thêm Clover vào llama.cpp, merge ngày 2/11 và lên bản v0.9.0 ngày 4/11 — kèm bốn chữ "in AR mode only". Clover vốn là diffusion language model: nó draft một block 32 slot, commit trong một lượt mọi slot đạt confidence 95%, rồi quay lại xử lý phần còn lại. llama.cpp chạy nó một token mỗi bước, tức bỏ qua đúng cơ chế làm nên tốc độ.
Số đo thực tế trên một RTX 4090, dùng GGUF Q4_0 chính thức và llama.cpp v0.9.0 stock: 202-211 token/giây, first token về sau 0,13-0,31 giây, context 128K đạt đỉnh 21.924 MiB. Và file chính thức thậm chí không load được trên v0.9.0 nếu chưa fix, báo lỗi key not found in model: clover_moe.expert_shared_count.
DiffuSpace công bố 515 token/giây trên một H200 và 680 trên GB300 ở dạng uncompressed, nhưng không nêu engine lẫn mode — nên đừng coi đó là con số bạn sẽ thấy trên máy mình.
Làm gì trong tuần này
- Grep codebase tìm các hàm deprecated,
llama_set_warmupvà tuỳ chọn defrag threshold trước khi chạm vào 1.0. - Nếu đang expose
llama-serverra mạng, nâng sớm để lấy bản vá SSRF, CORS và DNS-rebinding. - Vẫn pin version cụ thể trong CI: 1.0 bảo đảm hình dạng API, không bảo đảm tốc độ của từng model.
Không spam, hủy đăng ký bất kỳ lúc nào.
Bài viết liên quan

Giá LLM giảm tới 80%: tính lại chi phí app AI 2026
30 thg 10, 2026
