#ollama

Ollama mặc định num_ctx 2048 và cắt đầu prompt mà không báo lỗi. Cách phát hiện bằng prompt_eval_count, sửa bằng Modelfile, và cái giá VRAM phải trả.

Mặc định 5 phút idle của Ollama làm first token đội từ 0,9s lên 11,4s. Cách đếm số lần load, hai cái bẫy keep_alive, và cấu hình server-side đã sửa được.

Cùng máy RTX 4060 Ti, cùng model Qwen2.5-Coder-7B: Ollama đạt 68 token/giây, LM Studio 61, HF Inference API free chỉ ~15. Số liệu để chọn runtime.

Một tuần thử Ollama trên MacBook Pro M3 36GB với VS Code: Gemma 4 26B và gemma4:31b-mlx chạy tốt, nhưng vòng lặp agent nhiều bước vẫn quá chậm.

Nvidia mở beta PAIR, tool miễn phí gộp máy trong cùng mạng để chạy inference local với Ollama. Yêu cầu GPU, bảo mật mTLS và con số 165 TFLOPs.

Ollama pull tensor model có thể bị redirect vào private network và cloud metadata, chưa có bản vá. Cách chặn bằng egress policy và cách tự kiểm tra.

Trả 240 đô/năm cho ChatGPT Plus? Tự host Open WebUI + Ollama trên VPS chỉ 6-12 đô/tháng, riêng tư hoàn toàn. Hướng dẫn setup Docker Compose nhanh.

Meta mở mã Muse Glimmer, model 30B chạy thẳng trên PC/Mac. Kèm hướng dẫn tự host LLM local bằng Open WebUI, Ollama để cắt chi phí subscription AI.

Aggregating 10 reports from May-June 2026 on Ollama v0.24.0, vLLM v0.21.0, self-hosted costs from $5 to $32/month, and the ~6x throughput gap.