#vllm

Bật speculative decoding trên vLLM có thể kéo throughput xuống còn 0,65x khi concurrency cao. Đây là phần toán acceptance rate cần làm trước.

Z.ai phát hành weights GLM-5.3: 756 GB trên 141 shard. Chi phí gọi API trên Cloudflare, điều khoản license, và khi nào tự host là vô nghĩa.

Một guide trên Dev.to claim tự host Llama 3.3 70B rẻ hơn Claude Opus API cả trăm lần. Số liệu GPU, chi phí, và điểm hoà vốn — đọc kỹ trước khi tin.

Aggregating 10 reports from May-June 2026 on Ollama v0.24.0, vLLM v0.21.0, self-hosted costs from $5 to $32/month, and the ~6x throughput gap.