MiMo 309B chia trên hai Mac Studio: local 0.66, cloud 0.79

Một nhóm dev chạy model 309B tham số trên hai Mac Studio nối Thunderbolt 5, và nó thua bản cloud 0.13 điểm benchmark.

Bài field report của Mihai trên Dev.to ngày 29-10 ghi lại toàn bộ quá trình: MiMo-V2.6-Flash của Xiaomi, một mixture of experts 309 tỷ tham số với 15 tỷ active mỗi token, chạy local qua bản MLX cộng đồng nặng 161 GB. Tác giả nói rõ đây là một lần chạy cho mỗi cấu hình trên một task duy nhất, nên hãy đọc như báo cáo hiện trường, không phải benchmark chuẩn.

Điểm số: 0.6605 local so với 0.7909 cloud

Bài test là Gauntlet: cho agent 150 lượt gọi model để dựng một payments console gồm hai backend service, một web UI và một trường 3D, chấm trên 99 tiêu chí. Bản local đạt 0.6605, bản cloud chạy qua OpenRouter trỏ thẳng endpoint Xiaomi đạt 0.7909.

Khoảng cách đó gây hiểu nhầm nếu chỉ nhìn con số cuối. Trước khi áp trần của benchmark, bản local đã ăn 0.8309 phần điểm có trọng số, bản cloud 0.838 — gần như ngang nhau. Chênh lệch đến từ luật trần: hai bài kiểm tra 3D không đạt đã chặn bản local ở mức 0.669. Ở chiều ngược lại, bản local thắng ở bài live update, đạt 1.0 trong khi bản cloud được 0.

Cái giá thật là thời gian

Đây mới là phần đáng cân nhắc nếu bạn định dựng máy local cho team. Bản cloud tiêu 131 lượt gọi trong 2 giờ 08 phút. Bản local tiêu hết 150 lượt trong 4 giờ 51 phút — hơn gấp đôi thời gian cho một điểm số thấp hơn.

Tốc độ giải thích phần còn lại. Với prompt 100 nghìn token, token đầu tiên mất 360 giây khi chưa có cache, nhưng chỉ 0.52 giây khi prompt đã nằm trong cache. Ở mức 210.724 token, token đầu tiên mất 962 giây và tốc độ decode tụt từ 24.8 xuống 17.7 token mỗi giây. Tác giả kết luận thẳng: đừng chạy agent trên cấu hình này nếu không bật prompt caching, vì goose gửi lại toàn bộ hội thoại mỗi lượt gọi.

Phần cứng và thứ macOS 26.2 vừa mở ra

Model không vừa một máy. Hai Mac Studio trong bài là M3 Ultra 96 GB và M5 Max 128 GB, tổng 224 GB bộ nhớ hợp nhất, chia 48 layer của model thành 19 và 29 rồi nối bằng một sợi Thunderbolt 5.

Điểm kỹ thuật đáng chú ý cho người dùng Mac ở Việt Nam: Apple bổ sung RDMA qua Thunderbolt trong macOS 26.2, với backend MLX tên JACCL, bật bằng rdma_ctl enable từ recovery mode. Nhóm này đo được gói 1 KB đi mất trung vị 21 micro giây và 1 GB chạy ở 9.31 GB/s, so với 164 micro giây và 3.8 GB/s của backend ring cũ trên cùng sợi cáp.

Phần khó không nằm ở chỗ nhồi vừa trọng số. Giữ hai máy đồng bộ từng token suốt năm tiếng mới là chỗ tốn công: nhóm gặp lỗi lệch dtype giữa hai máy, và một lần hai máy tự sinh token khác nhau khiến prompt cache hai bên lệch nhau rồi crash.

Kết luận thực tế cho người đang cân nhắc: chạy model lớn local trên Mac đã khả thi, nhưng với công việc agent chạy dài, thứ bạn đánh đổi là thời gian chờ chứ không phải chất lượng đầu ra. Đáng theo dõi là liệu cấu hình hai máy này có giữ được tốc độ khi chạy nhiều phiên song song, điều bài viết chưa đo.