AI local trên Mac: 3 bài học trước khi bạn xuống tiền

Bạn vừa cân nhắc bỏ vài chục triệu mua Mac để chạy AI local, với lý do chính là không muốn đẩy dữ liệu cá nhân lên cloud. Câu hỏi thật sự không phải máy nào chạy nổi, mà là sau khi chạy được thì bạn giao việc gì cho nó.

Một phóng viên của The Verge đang viết nhật ký quá trình này trên chiếc Mac Studio M5 Ultra. Ba chi tiết trong đó đáng để người dùng Việt đọc trước khi xuống tiền.

Cấu hình khủng không phải là phần khó

Tác giả cài Hermes Agent — ứng dụng desktop tự host chạy trên macOS, Windows và Linux, miễn phí hoàn toàn nếu chỉ dùng model local. Với 256GB bộ nhớ hợp nhất trên Mac Studio M5 Ultra, anh chọn model Qwen 3.8 Flash Next, 125 tỷ tham số, dung lượng khoảng 105GB.

Dựng xong rất nhanh. Rồi anh gặp đúng thứ chặn phần lớn người mới: ô nhập liệu trống, và câu hỏi "giờ gõ gì vào đây?". Tác giả nói thẳng rằng tác vụ đầu tiên anh làm — bản tin tóm tắt buổi sáng quét email và lịch — "không hữu ích lắm, và rõ ràng bạn không cần một cái máy 12.000 USD để dựng nó".

Hai cái bẫy vận hành

Cái bẫy thứ nhất là lịch chạy nền. Bản tin buổi sáng liên tục lỗi, và nguyên nhân hóa ra là macOS không được phép ngủ vào lúc cron chạy lúc 7:30 sáng. Đây là khác biệt nền tảng giữa agent local và dịch vụ cloud: máy bạn tắt thì tác vụ không chạy, không có server nào chạy thay.

Cái bẫy thứ hai là quyền. Để agent sắp xếp thư viện hơn 400 game trên Steam, tác giả phải đăng ký một Steam web API key và đưa cho Hermes. Công việc xong trong vài phút, và điểm đáng học là anh thu hồi key ngay sau đó vì không cần đến nữa. Agent local vẫn cần credential thật để làm việc thật — hãy cấp quyền theo từng tác vụ rồi rút lại, đừng để key nằm vĩnh viễn trong một app trên desktop.

Giá trị nằm ở dữ liệu bạn không dám upload

Những việc tác giả thấy đáng giá nhất đều có chung một đặc điểm: phân tích hồ sơ tài chính cá nhân, và lập bảng so sánh cấu hình một chiếc laptop đang trong thời gian cấm vận thông tin. Theo lời anh, đó là "những việc tôi không thể hoặc không muốn giao cho bất kỳ dịch vụ cloud nào".

Đây chính là khung để dân văn phòng Việt Nam đánh giá khoản đầu tư. Nếu công việc của bạn thường xuyên đụng hợp đồng chưa ký, bảng lương, hay dữ liệu khách hàng, thì giá trị của AI local không nằm ở chất lượng model — mà ở chỗ nó mở ra nhóm tác vụ bạn vốn đã tự cấm mình dùng ChatGPT.

Ngược lại, nếu phần lớn việc của bạn là soạn email và tóm tắt tài liệu công khai, một gói thuê bao cloud vẫn rẻ hơn nhiều lần so với chi phí phần cứng.

Đáng theo dõi

Tác giả cho biết sẽ thử các model Qwen nhỏ hơn trên M6 Mac Mini và M5 MacBook Air — đó mới là tầm giá mà phần lớn người đọc ở Việt Nam quan tâm. Anh cũng nhắc rằng Apple từng demo một cụm bốn chiếc Mac Studio nối với nhau cho AI local, tương đương gần 50.000 USD giá trị phần cứng, và rằng dòng máy Windows RTX Spark với RAM lên tới 128GB sắp ra mắt.

Hãy chờ kết quả trên máy nhỏ trước khi quyết định. Toàn bộ trải nghiệm ở trên diễn ra trên cấu hình đắt gần như tối đa, nên nó cho biết AI local làm được gì, chứ chưa cho biết bạn cần bỏ ra bao nhiêu để có phần lớn giá trị đó.

Nguồn

• "Learning to use local AI is exciting, overwhelming, and frustrating" — Antonio G. Di Benedetto, The Verge