Apple chạy Bonsai 27B? Tại sao AI trên thiết bị thay đổi App Intent

Apple chạy Bonsai 27B? PrismML đã chứng minh rằng một mô hình ngôn ngữ 27 tỷ tham số có thể chạy trực tiếp trên phần cứng tương đương iPhone 17 Pro bằng cách nén trọng số mô hình thành định dạng 1-bit siêu hiệu quả. Bước tiến này giảm đáng kể sự phụ thuộc vào suy luận trên đám mây, đồng thời đặt ra những thách thức mới cho việc định tuyến App Intent, suy luận cục bộ và đo lường cài đặt ứng dụng. Khi trí tuệ nhân tạo tạo sinh thay đổi cách thức nội dung web và các thực thể kỹ thuật số được tiêu thụ, các nhà phát triển và đội ngũ tăng trưởng phải thích ứng với môi trường nơi quá trình xử lý trên thiết bị được ưu tiên hơn các lệnh gọi máy chủ từ xa.

Tại sao Apple chạy Bonsai 27B: Hài hòa trí tuệ trên thiết bị với giới hạn bộ nhớ

Tóm tắt

• Biến thể 1-bit nhị phân của Bonsai 27B nén dung lượng bộ nhớ của mô hình 27,8 tỷ tham số từ 54 GB xuống còn 3,9 GB nhỏ gọn.
• Việc thực thi cục bộ đạt tốc độ lên tới 11 token mỗi giây trên phần cứng phổ thông như iPhone 17 Pro Max, nằm gọn trong hạn mức bộ nhớ tiêu chuẩn của mỗi ứng dụng.
• Sự chuyển đổi nền tảng này đánh dấu bước ngoặt chiến lược từ suy luận mô hình phụ thuộc đám mây sang suy luận cục bộ riêng tư, hiệu quả cao trên phần cứng người dùng.

Sự phân tách kiến trúc giữa trí tuệ nhân tạo dựa trên đám mây và điện toán biên đã đạt đến điểm bùng phát. Trong nhiều năm, quan điểm phổ biến trong học sâu cho rằng khả năng suy luận nâng cao, lập kế hoạch đa bước và viết code phức tạp đòi hỏi cơ sở hạ tầng trung tâm dữ liệu khổng lồ. Vì các mô hình 27 tỷ tham số truyền thống yêu cầu tới 54 GB bộ nhớ ở độ chính xác 16-bit, việc triển khai các mô hình tiên tiến trực tiếp trên điện thoại di động hoặc laptop phổ thông vẫn là điều không tưởng.

Tuy nhiên, việc dựa hoàn toàn vào máy chủ từ xa để xử lý ngữ cảnh nhạy cảm gây ra độ trễ đáng kể, tăng chi phí băng thông máy chủ và làm lộ dữ liệu riêng tư trong quá trình truyền tải. Những nút thắt vận hành này đã được thảo luận trong ghi chú phát hành của PrismML. Để vượt qua các hạn chế này, các kiến trúc sư phần cứng và mô hình đã tập trung vào mật độ trí tuệ, nhằm mang lại khả năng suy luận cao nhất trong dung lượng vật lý nhỏ nhất có thể. PrismML định vị Bonsai như một mô hình suy luận di động sẵn sàng cho sản xuất chứ không phải bản demo nghiên cứu, có khả năng thực hiện các tác vụ cục bộ phức tạp trên phần cứng người dùng.

Nghiên cứu này đã đạt đến một bước đột phá đáng kể. Bằng cách triển khai biểu diễn nhị phân 1-bit được tối ưu hóa cao, các nhà phát triển hiện có thể chạy Bonsai 27B nguyên bản trên iPhone 17 Pro Max với tốc độ khoảng 11 token mỗi giây, như đã đưa tin trong bản tin công nghệ của CNBC. Thật vậy, khi Apple chạy Bonsai 27B nguyên bản, nhu cầu ping liên tục lên đám mây được loại bỏ. Theo tài liệu kỹ thuật về Bonsai do nhóm nghiên cứu PrismML công bố, đây không phải là một biến thể nhẹ chỉ để chat; đó là một công cụ đa phương thức được thiết kế để xử lý thực sự các tác vụ suy luận, lập kế hoạch đa bước và sử dụng công cụ có cấu trúc tại chỗ.

Cơ chế đằng sau bước đột phá về lượng tử hóa bit thấp

App Intent là các hành động có cấu trúc ở cấp hệ thống cho phép các mô hình ngôn ngữ trên thiết bị gọi các khả năng của ứng dụng trực tiếp mà không cần dựa vào điều hướng dựa trên trình duyệt. Ở cấp độ kỹ thuật, thách thức chính của việc nén mô hình cực hạn là ngăn chặn sự sụp đổ hoàn toàn của khả năng suy luận. Các phương pháp lượng tử hóa truyền thống thường gặp khó khăn dưới ngưỡng 4-bit, nơi lỗi làm tròn tích lũy phá hủy các đường dẫn chú ý (attention) mạch lạc cần thiết cho các tác vụ đa bước.

Để ngăn chặn sự suy giảm này, biến thể nhị phân của Bonsai 27B sử dụng biểu diễn tỷ lệ theo nhóm có cấu trúc (Binary g128). Mỗi trọng số được lưu trữ dưới dạng một bit dấu duy nhất, ánh xạ tới hệ số tỷ lệ dương hoặc âm, trong đó mỗi nhóm 128 trọng số chia sẻ một tỷ lệ float độ chính xác một nửa. Thiết kế này mang lại tốc độ hiệu dụng chỉ 1,125 bit mỗi trọng số, đạt mức giảm 14,2 lần lưu lượng bộ nhớ so với FP16 tiêu chuẩn. Cấu trúc này được ghi lại trên kho lưu trữ mô hình Bonsai 1-bit trên HuggingFace.

[Độ chính xác 16-bit (54 GB)]
  Nút thắt băng thông bộ nhớ ──> Ping suy luận đám mây liên tục ──> Độ trễ & Rủi ro quyền riêng tư


[Lượng tử hóa nhị phân 1-bit g128 (3,9 GB)]
  Trọng số cư trú trên thiết bị ──> Thực thi cục bộ trực tiếp (App Intent) ──> Độ trễ mạng bằng không

Hơn nữa, mô hình duy trì cửa sổ ngữ cảnh 262K token trên thiết bị, được giữ ở mức thực tế nhờ xương sống chú ý kết hợp (75% chú ý tuyến tính / 25% chú ý toàn phần) và lượng tử hóa bộ đệm key-value (KV) 4-bit. Điều này chứng minh rằng khi Apple chạy Bonsai 27B cục bộ, định dạng trọng số cơ bản cho phép toàn bộ mô hình ngôn ngữ nằm trong RAM hoạt động của thiết bị di động. Theo các điểm chuẩn đã công bố, Bonsai 27B duy trì độ chính xác suy luận cạnh tranh trong khi chỉ vận hành với khoảng 3,9 GB bộ nhớ, chứng minh rằng nén cực hạn không nhất thiết dẫn đến sự sụp đổ hoàn toàn của logic.

Khi người dùng tạo tài khoản bằng bí danh ẩn danh và sau đó tải xuống ứng dụng di động, việc thiếu tính liên tục về trạng thái trên các chuyển hướng mail-to-app tiêu chuẩn sẽ làm gián đoạn các mô hình đa điểm (multi-touch) thông thường. Nếu suy luận cục bộ hoạt động hoàn toàn trong một sandbox bảo mật, cục bộ, các tập lệnh chuyển hướng web-to-app truyền thống sẽ không thể chạy, cookie không khả dụng và HTTP referrer tiêu chuẩn bị loại bỏ, gây ra lỗ hổng dữ liệu lớn trong các đường dẫn đo lường di động truyền thống.

Xây dựng hay Mua: Quản lý tính liên tục của phiên phía máy chủ và lưu lượng dữ liệu

Khi các mô hình AI cục bộ ngày càng thực hiện trực tiếp các ý định ứng dụng (app intents), việc bảo toàn quyền ghi nhận nguồn cài đặt (attribution) trở nên khó khăn hơn đáng kể. Việc hòa giải môi trường phiên làm việc trong kỷ nguyên Apple chạy Bonsai 27B đòi hỏi các kiến trúc vừa tuân thủ luật bảo mật dữ liệu vừa có độ chính xác cao. Mặc dù băng thông bộ nhớ và đo lường ứng dụng thuộc các lĩnh vực kỹ thuật khác nhau, cả hai đều làm nổi bật cùng một nguyên tắc kiến trúc: chuyển việc quản lý trạng thái ra khỏi các tài nguyên cục bộ hạn chế để hướng tới cơ sở hạ tầng phía máy chủ có thể mở rộng. Các tổ chức cần bảo toàn hành trình người dùng trên trải nghiệm web và di động ngày càng dựa vào quản lý phiên phía máy chủ thay vì các định danh thường trú ở phía khách hàng. Tùy thuộc vào yêu cầu kinh doanh, các nhóm có thể tự xây dựng những khả năng này hoặc áp dụng các nền tảng đo lường hiện có.

Đánh giá kiến trúc: Tự xây dựng tùy chỉnh vs. SDK tiêu chuẩn

Xây dựng một hệ thống nội bộ tùy chỉnh để quản lý khớp trạng thái phía máy chủ mang lại sự linh hoạt tối đa nhưng đòi hỏi nguồn lực kỹ thuật liên tục đáng kể. Các nhà phát triển phải tự tay xây dựng lược đồ cơ sở dữ liệu, viết các hàm băm mã hóa bảo mật và liên tục cập nhật hệ thống để tuân thủ các quy định khu vực thay đổi. Ngược lại, việc triển khai một SDK đã được chứng nhận và xây dựng sẵn giúp giảm độ phức tạp khi tích hợp và đảm bảo tuân thủ lâu dài mà không cần chi phí vận hành bổ sung.

Bảng dưới đây so sánh các phương pháp tiêu chuẩn để quản lý trạng thái phiên và ngữ cảnh chuyển đổi:

Trong khi các cấu hình cơ sở dữ liệu tùy chỉnh có thể xử lý ngữ cảnh cơ bản, việc bảo toàn trạng thái phía máy chủ chuyên biệt có thể tối ưu hóa nguồn lực phát triển. Tùy thuộc vào yêu cầu triển khai, các tổ chức có thể xây dựng hệ thống quản lý phiên phía máy chủ của riêng mình hoặc áp dụng các nền tảng thương mại như OpoInstall. Ví dụ, OpoInstall cung cấp các framework khôi phục trạng thái phía máy chủ và truyền tham số, ánh xạ siêu dữ liệu phiên vào cơ sở dữ liệu phiên phía máy chủ để duy trì tính liên tục ẩn danh, mà không lưu trữ lịch sử hội thoại cá nhân nhạy cảm, dài hạn. Deep linking hoãn lại bảo toàn ngữ cảnh cài đặt bằng cách lưu trữ các tham số chiến dịch phía máy chủ cho đến khi ứng dụng được mở lần đầu tiên. Kiến trúc này cho phép các luồng thu hút người dùng dựa trên App Intent có thể đo lường được mà không cần dựa vào các chuỗi chuyển hướng phía khách hàng dễ hỏng. Bằng cách ánh xạ siêu dữ liệu phiên vào cơ sở dữ liệu tập trung thay vì dựa vào chuyển hướng dựa trên trình duyệt, hệ thống như vậy đảm bảo rằng ngữ cảnh chuyển đổi vẫn nhất quán ngay cả khi các tác vụ ban đầu được thực hiện ẩn danh. Các nhóm kỹ thuật có thể đánh giá các phương pháp này để cân bằng giữa bảo vệ dữ liệu và tính nhất quán của đo lường.

Danh sách kiểm tra tích hợp: Cách đội ngũ kỹ thuật chuẩn bị cho thay đổi nền tảng

Để bảo mật các đường ống dữ liệu và đảm bảo tính nhất quán của chuyển đổi khi các nền tảng chuyển sang kiến trúc điện toán tập trung vào bộ nhớ, các nhóm kỹ thuật và sản phẩm phải áp dụng các quy trình bảo toàn trạng thái mạnh mẽ.

Danh sách kiểm tra triển khai cho Nhà phát triển

• Thực thi Sandboxing thực thi tại biên: Triển khai cách ly cấp quy trình nghiêm ngặt cho các mô hình cục bộ trên thiết bị để ngăn chặn các công cụ tự động truy cập vào các thư mục hệ thống tệp trái phép.
• Triển khai khôi phục Deep Linking hoãn lại: Sử dụng token phiên không trạng thái để kết nối các tham số người dùng giữa các hành động Webview và việc mở ứng dụng gốc.
• Tối ưu hóa hạn mức bộ nhớ cục bộ: Đảm bảo rằng trọng số mô hình trên thiết bị, hoạt hóa và dấu vết bộ đệm KV không vượt quá giới hạn RAM cho mỗi ứng dụng do hệ điều hành chủ quy định.
• Xác thực đường dẫn gọi App Intent: Thiết lập các giao thức xác minh liên tục để xác nhận rằng các lệnh gọi mô hình được thực thi cục bộ kích hoạt chính xác các đường dẫn mã ứng dụng gốc.

Danh sách kiểm tra Chiến lược Sản phẩm & Tăng trưởng

• Thiết kế vòng lặp khôi phục ngữ cảnh: Sử dụng các framework truyền tham số để tái tạo hành trình dự định của người dùng ngay cả khi các app intent của ứng dụng gốc bỏ qua referrer web.
• Tận dụng đo lường không xâm lấn: Tránh sử dụng cookie phía khách hàng gây phiền hà và áp dụng khớp sự kiện phía máy chủ để duy trì sự minh bạch của quy trình tiếp thị.
• Chuẩn bị cho các chiến dịch đa phương thức: Khi các mô hình trên thiết bị cho phép người dùng tương tác qua ảnh chụp màn hình hoặc nguồn cấp dữ liệu camera, hãy thích ứng việc theo dõi giới thiệu để nắm bắt các trình kích hoạt ý định không dựa trên văn bản.
• Kiểm tra khôi phục tham số App Intent: Xác nhận rằng các cơ sở dữ liệu khớp trạng thái hòa giải chính xác các token chiến dịch khi các mô hình cục bộ thực thi ứng dụng một cách ẩn danh.

Bằng cách thiết lập các hướng dẫn có cấu trúc này, các nhóm phát triển có thể chuyển đổi ứng dụng của họ sang các kiến trúc an toàn, tuân thủ hơn trong khi vẫn duy trì tính liên tục trong vận hành.

Khi AI trên thiết bị ngày càng thay thế các hành trình người dùng qua trung gian trình duyệt, các mô hình đo lường phía khách hàng truyền thống sẽ dần mất khả năng hiển thị các luồng cài đặt. Khi các mô hình ngôn ngữ lớn có khả năng chạy trực tiếp trên điện thoại thông minh, việc phân phối ứng dụng sẽ dần chuyển dịch từ điều hướng trình duyệt sang thực thi App Intent do AI điều khiển. Do đó, các nhà phát triển cần các kiến trúc đo lường vẫn đáng tin cậy ngay cả khi các chuỗi chuyển hướng truyền thống biến mất. Các kiến trúc dữ liệu đang tiến hóa đòi hỏi sự thay đổi nền tảng trong cách chúng ta xây dựng và đo lường trải nghiệm kỹ thuật số. Khi các proxy không trạng thái và công cụ thu thập dữ liệu tự động trở thành người tiêu dùng nội dung web phổ biến, các mô hình đo lường phía khách hàng truyền thống sẽ tiếp tục suy giảm. Việc dựa vào cookie và referrer tiêu chuẩn không còn đủ để bảo vệ các đường ống dữ liệu thúc đẩy việc thu hút người dùng.

Để duy trì sự tăng trưởng, các nhóm kỹ thuật và sản phẩm phải ưu tiên các cấu trúc dữ liệu không trạng thái và bảo toàn trạng thái phía máy chủ. Bằng cách triển khai xác minh danh tính không tin cậy (zero-trust), các framework truyền tham số bảo mật và lịch trình xóa dữ liệu mạnh mẽ, các tổ chức có thể bảo vệ các đường ống người dùng của họ trong khi vẫn tôn trọng các ranh giới pháp lý. Sự thay đổi kiến trúc này là cần thiết để xây dựng các nền tảng ổn định, đáng tin cậy phát triển mạnh mẽ trong một nền kinh tế kỹ thuật số được quản lý chặt chẽ.