Chạy Beam 501B: tự host GPU hay gọi qua AI Gateway?

Bạn vừa đọc tin Beam được thả open-weight với 501B tham số và nghĩ ngay tới chuyện kéo về server công ty. Rồi bạn mở trang yêu cầu phần cứng và thấy con số 1 TB.

Bài này đi thẳng vào quyết định mà team bạn phải chốt trong tuần này: gọi Beam qua AI Gateway hay tự dựng cụm GPU — và chi phí phần cứng thật sự nằm ở đâu.

Beam là gì, tóm trong bốn con số

Reflection AI phát hành Beam ngày 16/10/2026. Hugging Face mô tả đây là "a mixture-of-experts (MoEs) model with 501B parameters (23B active per token), supports text as input, has a context window of 1M tokens, and is released under the Apache 2.0 license".

Bốn con số đáng nhớ cho khâu lập kế hoạch: 501B tham số tổng, 23B active mỗi token, context 1M token, giấy phép Apache 2.0. Mô hình chỉ nhận text vào, text ra — không có ảnh, không có audio.

Phần kiến trúc giải thích vì sao bài toán bộ nhớ lại khó: "52 layers, 256 experts per MoE layer, 8 routed per token". Và điểm mấu chốt cho kỹ sư hạ tầng: "All 256 experts stay in memory, so deployment needs the memory of a 501B model but runs at the speed of a 23B one."

Nói cách khác, bạn trả tiền RAM cho một mô hình 501B nhưng chỉ nhận throughput của một mô hình 23B. Đó là cái bẫy ngân sách lớn nhất khi tự host MoE thưa.

Đường rẻ nhất để thử: AI Gateway

Vercel đã đưa Beam lên AI Gateway ngay trong ngày phát hành. Changelog ghi: "Beam from Reflection AI, previously available in stealth as stealth/cat-jam, is now available on AI Gateway. Beam is free to use for a limited time during the launch period when serviced by Reflection AI."

Có hai cách gọi, và chúng khác nhau ở chỗ điều gì xảy ra khi giai đoạn miễn phí kết thúc:

• reflection/beam — tên chuẩn. Vercel viết: "When the free period ends, the model slug will automatically transfer over to pricing with no downtime."
• reflection/beam-free — hậu tố -free. "The model will stop serving when the free offer ends."

Chọn sai slug là tự đặt bom hẹn giờ. Nếu bạn đang thử nghiệm và muốn hết miễn phí thì dừng hẳn để khỏi phát sinh hoá đơn, dùng beam-free. Nếu bạn đưa Beam vào một luồng production cần chạy liên tục, dùng reflection/beam và chấp nhận rằng một ngày nào đó nó bắt đầu tính tiền.

Để cắm vào agent có sẵn, Vercel hướng dẫn: "To use it in Claude Code, Codex, Cursor, and more, install the latest Vercel CLI and run setup: npx vercel ai-gateway setup. Then select reflection/beam or reflection/beam-free in the agent."

Về giá sau giai đoạn miễn phí, Vercel nói gateway "reflects provider pricing with no markup and does not charge a platform fee on inference, including on Bring Your Own Key (BYOK) requests". Đây là tuyên bố của nhà cung cấp, chưa phải số liệu được bên thứ ba kiểm chứng — nhưng nó có nghĩa là bạn không mất thêm một lớp phí chỉ vì đi qua gateway.

Tự host cần đúng loại GPU nào

Đây là chỗ nhiều team ở Việt Nam sẽ dừng lại. Checkpoint BF16 "is about 1 TB in safetensors format". Hugging Face khuyến nghị bản lượng tử hoá: "The most practical way to serve the model is serving the NVFP4 checkpoint, which retains most of the quality of the bf16 checkpoint. NVFP4 stores some weights in 4 bits, and this way, it shrinks the 501B parameters in BF16 from 1 TB to ~280 GB."

Nhưng NVFP4 kèm một điều kiện phần cứng cứng rắn: "Blackwell GPUs run NVFP4 natively but GPUs older than Blackwell like the H200 can't. The FP8 checkpoints are suitable for GPUs older than Blackwell."

Quy đổi ra cấu hình cụ thể:

Cấu hình	Bộ nhớ	Ghi chú từ tài liệu
2 × B200	360 GB	"can hold the Beam weights, with little room left for activations and the KV cache"
4 × B200	720 GB	"leaves plenty of room for long contexts and concurrent requests"
2 × B300	288 GB mỗi card	được nêu là phương án khả thi
16 × H200 (BF16)	78 GB/GPU	"With 8 GPUs each would hold 139 GB, which leaves no room on a 141 GB H200"

Một ràng buộc dễ bị bỏ sót khi chia expert-parallel: "The number of devices must divide the number of experts, 256." Cụm 6 hay 12 GPU sẽ không khớp — hãy bám 8, 16 hoặc 32.

Nếu không có Blackwell trong tay, tài liệu nói thẳng: "If you don't have Blackwell hardware, use Inference Providers (serverless) to test Reflection."

Context 1M không tốn RAM như bạn sợ

Phần này là lý do kiến trúc hybrid attention đáng chú ý với ai làm agent đọc codebase lớn. Chỉ 9 lớp global giữ toàn bộ chuỗi; 43 lớp sliding-window "hold a fixed 512-token window each and stop growing. So the cache grows by 36 KiB per token, roughly a sixth of the naive rate."

Kết quả ở context đầy: 36,08 GiB thay vì 208 GiB cho mỗi sequence (BF16, transformers dynamic cache). Ở mức 128K token, con số là 4,6 GiB so với 26 GiB. Nghĩa là trần concurrency của bạn do trọng số quyết định, không phải do KV cache.

Điểm benchmark — đọc như số của nhà sản xuất

Hugging Face ghi rõ nguồn: "Here are the benchmark results across different precision levels, as provided by the Reflection team." Đây là số do chính Reflection công bố, không phải đánh giá độc lập.

Theo bộ số đó, bản BF16 đạt SWEBench Verified 81,6%, Terminal Bench v2.1 80,1%, LiveCodeBench 88,3%, GPQA Diamond 90,6% và AIME 2026 97,7%. Bản NVFP4 bám khá sát: SWEBench Verified 80,7%, Terminal Bench v2.1 78,2%.

Khoảng cách BF16 → NVFP4 dưới một điểm phần trăm ở phần lớn hạng mục coding. Nếu bạn tin bộ số này, việc hy sinh một chút độ chính xác để kéo trọng số từ 1 TB xuống ~280 GB là một đánh đổi dễ chấp nhận — nhưng hãy tự chạy lại trên tập việc thật của team trước khi ký hợp đồng mua GPU.

Chốt quyết định

Dùng gateway nếu bạn đang ở giai đoạn đánh giá, không có GPU Blackwell, hoặc tải thấp và không đều. Thiết lập mất một lệnh CLI và hiện chưa tốn tiền.

Tự host nếu bạn có ràng buộc dữ liệu không được rời hạ tầng, tải cao ổn định đủ để khấu hao ít nhất 4 card B200, và có người vận hành vLLM hoặc SGLang trong team — cả hai đều có "day-0 support", cùng với transformers (yêu cầu transformers>=5.20.1).

Hai thứ cần theo dõi trong vài tuần tới: ngày giai đoạn miễn phí kết thúc (chưa được công bố), và các báo cáo benchmark độc lập đầu tiên. Reflection cho biết sẽ trao 10.000 USD tín dụng Hub cho các dự án tốt nhất dùng Beam, nên nhiều khả năng số liệu từ cộng đồng sẽ xuất hiện sớm.