Chạy AI local trên Mac: MLX, 4 máy và bài toán bộ nhớ

Bạn định mua Mac Studio để chạy model local, và câu hỏi đầu tiên không phải model nào mạnh nhất. Câu hỏi là model cùng bộ nhớ làm việc của nó có vừa máy hay không.

Bản tin The Daily Diff ngày 17/10 (đăng 18/10) của Nikoloz Turazashvili phân tích demo MLX phân tán của Apple và tách rõ phần nào là số đo của hãng, phần nào là suy luận.

Con số về bộ nhớ, trước con số về tốc độ

MLX là framework mảng mã nguồn mở cho machine learning trên Apple silicon. Trong một máy Mac, kiến trúc unified memory cho phép CPU và GPU dùng chung bộ nhớ; nối nhiều máy thì phần truyền dữ liệu giữa chúng vẫn là ranh giới thật.

Model lớn nhất trong bài của Apple là Muse Spark Open của Meta, kiến trúc mixture-of-experts. Theo Apple, riêng phần lưu tham số ở precision gốc đã vượt 1,6 TB; lượng hoá bốn bit NVFP4 kéo xuống còn khoảng 493 GB. Một cấu hình Mac Studio được hỗ trợ có thể đạt 512 GB.

Hai con số đó nhìn qua thì vừa, nhưng bài nhấn đúng chỗ dev hay bỏ qua: inference còn cần bộ nhớ cho kết quả trung gian. Kích thước file weight không đủ để kết luận cả workload chạy lọt.

Thêm máy cho sức chứa, không mặc định cho tốc độ

Bài phân biệt hai kiểu chia việc. Pipeline parallelism cắt model theo chuỗi layer: máy thứ nhất tính các layer đầu rồi chuyển kết quả sang máy thứ hai. Vì các layer vẫn chạy tuần tự cho cùng một token, Apple báo cáo tốc độ decode với pipeline parallelism nhìn chung tương đương một máy đơn.

Tensor parallelism thì chia việc bên trong từng layer, nhiều máy tính các phần rồi ghép lại — mở đường cho tốc độ sinh token cao hơn, đổi lại là chi phí truyền thông lặp đi lặp lại. Apple dùng RDMA độ trễ thấp qua Thunderbolt cho cấu hình này, và bài lưu ý không nên lặng lẽ thay bằng Ethernet thường rồi giữ nguyên tuyên bố hiệu năng.

Kết luận thực dụng cho người mua: máy thứ hai có thể đáng tiền vì nó cho phép chạy model mà trước đó không nhét vừa bộ nhớ, chứ không phải vì nó nhân đôi tốc độ trả lời.

Hai cái đồng hồ đừng trộn vào nhau

Apple báo cáo Muse Spark Open vượt 36 token/giây trên cụm bốn máy, với context 8.192 token. Một thí nghiệm khác đo thời gian chờ token đầu tiên ở context 65.536 token: khoảng 50,5 giây với một cáp mỗi liên kết, và khoảng 40,6 giây với hai cáp.

Mức giảm chừng mười giây đó là kết quả về thời gian chờ, không phải throughput decode mới. Đây là điểm đáng mang về mọi dự án local AI: time to first token mô tả giai đoạn xử lý prompt, còn token/giây mô tả giai đoạn sinh. Prompt dài có thể bắt bạn đợi lâu ngay cả khi câu trả lời sau đó chạy mượt.

Một lưu ý về cách so sánh: bảng của Apple đánh giá Muse ở NVFP4 còn các model đối chiếu nhỏ hơn chạy ở định dạng gốc — đó là dữ kiện về phép so sánh đã chạy, không phải bằng chứng về chất lượng. Toàn bộ số liệu trên là đo đạc do chính Apple công bố.

Trước khi chốt đơn

Khuyến nghị của bài khá thẳng: hãy đo bằng một tác vụ đại diện cho công việc thật của bạn — giữ nguyên độ dài prompt, các lượt gọi tool và tiêu chí nghiệm thu — rồi xem model có vừa máy, chờ bao lâu, và cả tác vụ có chạy xong không.

Bài cũng nhắc chuyện mức độ sử dụng: không có mốc hoà vốn chung so với API thuê ngoài, và một trợ lý thỉnh thoảng mới dùng có thể biến cỗ máy đắt tiền thành đồ trang trí bàn làm việc. Với mặt bằng giá thiết bị ở Việt Nam, đó là phép tính nên làm trước, không phải sau.