Bỏ qua để vào nội dung chính
Dựng classifier chạy offline trên macOS bằng model 3B Apple

Dựng classifier chạy offline trên macOS bằng model 3B Apple

Bởi Daniel Foster
12 thg 11, 20264 phút đọc

Model on-device 3B của Apple cộng NLContextualEmbedding đủ để dựng classifier chạy offline trên macOS: không API key, không chi phí mỗi lần gọi.

Bạn có một đống ticket nội bộ cần gắn nhãn, nhưng dữ liệu không được phép rời máy người dùng. Gọi API bên ngoài là hết cửa, mà tự host một model 7B thì không có GPU để chạy.

Trên macOS và iOS có sẵn một đường khác: dùng chính model nằm trong máy để dựng classifier chạy offline, không API key, không chi phí mỗi lần gọi.

Model có sẵn trong máy: được gì, mất gì

Theo bài hướng dẫn của Backlog trên dev.to, model on-device của Apple "runs offline, costs nothing per call, and never sends your data anywhere". Đây là một small language model ship kèm macOS và iOS, không phải thứ bạn phải cài thêm.

Hai con số quyết định thiết kế: model có khoảng 3 tỷ tham số, và context window khoảng 4.096 tokens ở thời điểm ra mắt. Budget đó tính cả instructions, prompt và response gộp lại — tức là phần bạn thực sự nhét được vào nhỏ hơn con số đó nhiều.

Tác giả liệt kê rõ chỗ model này đuối: broad world knowledge, reasoning hoặc toán nặng, và tài liệu dài mà không chunk. Classification, tagging, trích field từ văn bản ngắn thì nằm đúng vùng mạnh.

Việc đầu tiên trong code không phải là prompt, mà là check SystemLanguageModel.default.availability. Máy có thể không hỗ trợ Apple Intelligence, hoặc người dùng đã tắt.

@Generable: ép model trả về đúng shape

Thay vì parse free text, Foundation Models cho bạn nhận về typed Swift values. Bài viết nói thẳng lợi ích với bài toán phân loại: "the model can only answer with the shape you define".

@Generable
struct Verdict {
  @Guide(description: "Exactly one of the allowed category names")
  var category: String
  @Guide(description: "Confidence from 0 to 1")
  var confidence: Double
}

Đoạn trên là ví dụ minh hoạ lấy từ bài gốc, không phải production code của bạn — nhưng nó xoá sạch cả tầng lỗi parse mà bất kỳ ai từng ép LLM trả JSON đều đã gặp.

Embedding đi trước, generation chỉ dùng khi bí

Hỏi language model cho từng item là đường chậm. NLContextualEmbedding trong framework NaturalLanguage là một model kiểu BERT, biến text thành vector để chấm similarity với từng category mà không cần generation.

Luồng tác giả đề xuất gọn và dễ port sang bài toán khác:

  • Định nghĩa category gồm tên, mô tả ngắn, thêm 3-5 câu ví dụ mỗi loại nếu có.
  • Embed từng category một lần rồi cache vector lại.
  • Embed input, mean-pool token vectors, tính cosine similarity với mọi category.
  • Nếu điểm cao nhất bỏ xa điểm thứ hai, nhận luôn — nhánh này không tốn một token generation nào.
  • Nếu hai điểm đầu sát nhau, mới gọi language model chọn giữa đúng hai ứng viên đó.

Ngưỡng cách biệt trong bài là 0.08, và tác giả nói rõ đó chỉ là điểm khởi đầu: tune lại trên tập nhãn của chính bạn, rồi giữ tập đó làm regression test.

Tại sao đường "model nhỏ" đáng đi

Một bài khác trên dev.to (velocityai) đưa con số cho cùng luận điểm, và đây là số liệu họ công bố chứ không phải đo độc lập: một model 7B fine-tune trên 50.000 ticket support được cho là vượt GPT-4 8 điểm phần trăm trên benchmark chất lượng xử lý của chính công ty đó, với chi phí 0,12 USD so với 18 USD mỗi nghìn lượt, và độ trễ 340ms so với 1.800ms.

Tác giả tóm pattern: task hẹp có domain data thì model nhỏ thắng, task rộng không có domain data thì model lớn thắng. Phân loại ticket nội bộ rơi hẳn vào vế đầu.

Làm tiếp gì

Dựng golden set trước khi tinh chỉnh prompt — không có nó thì bạn không biết một thay đổi là tốt lên hay xấu đi. Chunk input dài thay vì hy vọng nó vừa context. Và viết instructions ngắn, vì chúng ăn vào đúng cái budget 4.096 tokens kia.

Không spam, hủy đăng ký bất kỳ lúc nào.

Bài viết liên quan