Khảo sát của KPMG: Tại sao việc thanh toán theo token khiến chi phí AI doanh nghiệp khó dự báo

Sơ đồ kiến trúc kỹ thuật về sự biến động chi phí điện toán dựa trên token trong doanh nghiệp và quản lý hạ tầng đám mây. Tại sao quá trình chuyển đổi sang mô hình giá dựa trên token lại khiến chi phí AI doanh nghiệp khó dự báo? Một khảo sát mới từ KPMG nêu bật một thách thức ngày càng lớn đối với các doanh nghiệp: các công ty đang gặp khó khăn trong việc dự đoán chi phí khi hệ thống AI chuyển dịch từ các gói đăng ký cố định sang mô hình giá theo token. Khi doanh nghiệp đưa AI từ các dự án thử nghiệm vào quy trình vận hành sản xuất hàng ngày, việc kiểm soát chi phí suy luận (inference costs) biến đổi đã trở thành một thách thức vận hành mới. Trước đây, các mô hình đăng ký phí cố định giúp bảo vệ các công ty khỏi chi phí hạ tầng biến đổi nhờ vào mô hình giá trên mỗi người dùng hợp nhất. Ngày nay, vì các nền tảng AI ngày càng phụ thuộc vào hạ tầng dựa trên mức sử dụng và các nhà cung cấp mô hình bên ngoài, việc thiết lập các phương pháp giám sát sử dụng và phân bổ chi phí minh bạch đang trở nên thiết yếu đối với vận hành AI doanh nghiệp.

Tại sao dữ liệu khảo sát của KPMG lại quan trọng: Hòa giải tích hợp AI với ngân sách khó dự báo

Nhìn lướt qua

Một khảo sát toàn cầu về AI gần đây của KPMG cho thấy nhiều nhà điều hành gặp khó khăn trong việc hiểu và kiểm soát chi phí vận hành AI.
Quá trình chuyển đổi nhanh chóng từ đăng ký phần mềm phí cố định sang các mô hình token 'trả tiền theo mức sử dụng' (pay-as-you-go) biến đổi đã khiến việc dự báo ngân sách trở nên vô cùng bấp bênh.
Các mô hình tiêu thụ AI không hiệu quả và các lệnh gọi API không được giám sát đang gây ra tình trạng vượt ngân sách hàng tháng khổng lồ, bất ngờ trên khắp các phòng ban doanh nghiệp.

Bối cảnh tài chính của việc tích hợp phần mềm doanh nghiệp đã trải qua một bước chuyển đổi lớn. Trong hơn một thập kỷ, mô hình kinh doanh của các công cụ kỹ thuật số dựa trên các gói đăng ký phần mềm dưới dạng dịch vụ (SaaS) với mức phí cố định và dễ dự báo. Các tổ chức trả mức phí cố định cho mỗi người dùng, điều này cho phép các bộ phận tài chính dự báo chi phí vận hành với độ chính xác cao. Sự ổn định của phí cố định giúp các công ty tránh khỏi chi phí hạ tầng ẩn, vì các nhà cung cấp phần mềm đã hấp thụ các chi phí hạ tầng biến đổi bên dưới mô hình giá trên mỗi người dùng hợp nhất.

Tuy nhiên, khi các hệ thống tạo sinh tiên tiến và các mô hình ngôn ngữ lớn (LLM) di chuyển vào các hoạt động kinh doanh cốt lõi, sự ổn định của giá cố định này đã biến mất. Nhiều nhà cung cấp phần mềm đang chuyển dịch nhiều chi phí hạ tầng hơn sang các mô hình giá dựa trên mức sử dụng. Vì mỗi yêu cầu hội thoại tiêu thụ một số lượng token biến đổi tùy thuộc vào độ phức tạp của câu lệnh (prompt) và độ dài ngữ cảnh, các nhà cung cấp phần mềm đang đẩy gánh nặng tài chính trực tiếp lên người dùng cuối. Hệ quả tài chính của sự thay đổi này còn vượt xa phạm vi quản trị CNTT đơn thuần.

Theo khảo sát của KPMG, khảo sát trên 2.145 nhà điều hành cấp cao tại 20 quốc gia, khoảng 29% người được hỏi không thể xác định các nguồn cụ thể thúc đẩy chi phí AI tăng cao của họ, trong khi gần một phần ba thừa nhận rằng họ không hiểu các nguyên tắc kinh tế đằng sau việc tiêu thụ token. Trong các triển khai thông thường, nhân viên và các tác nhân tự động có thể tạo ra khối lượng lớn yêu cầu mà không có ranh giới sử dụng rõ ràng, dẫn đến các đợt tăng phí đột ngột ngoài dự kiến. Đối với các doanh nghiệp lớn, chi phí AI khó dự báo cũng tạo ra những thách thức mới cho các đội ngũ kế hoạch tài chính, mua sắm và quản trị.

Nguyên nhân gốc rễ mang tính hệ thống: Bản chất thiếu minh bạch của điện toán dựa trên token

Ở cấp độ kỹ thuật, sự biến động cao của chi phí AI xuất phát từ chính bản chất của điện toán dựa trên token. Không giống như các ứng dụng web truyền thống xử lý các truy vấn cơ sở dữ liệu có cấu trúc tiêu chuẩn, các LLM xử lý dữ liệu thông qua các token—đơn vị ngữ nghĩa cơ bản của các mô hình học máy. Mỗi yêu cầu được chuyển đổi thành các token, được tính là các đơn vị đầu vào hoặc đầu ra có thể lập hóa đơn.

Vì các LLM lưu giữ các trạng thái chú ý trước đó thông qua Bộ nhớ đệm Key-Value (KV Cache) trong quá trình tạo nội dung, các yêu cầu bộ nhớ và chi phí suy luận có thể tăng lên khi cửa sổ ngữ cảnh mở rộng. Trong nhiều quy trình phát triển phổ biến, một truy vấn tác nhân đa bước đơn lẻ có thể tiêu thụ hàng ngàn token chỉ trong vài giây, biến các câu hỏi đơn giản thành các giao dịch máy chủ có chi phí cao.

[SaaS phí cố định dễ dự báo]
  Thanh toán hàng tháng hợp nhất ──> Truy cập nền tảng không giới hạn ──> Chi phí vận hành cố định, không vượt mức


[Tiêu thụ dựa trên token biến đổi]
  Câu lệnh người dùng biến đổi ──> Tiêu thụ token động (Tích lũy KV Cache) ──> Thanh toán biến động, khó dự báo

Sơ đồ so sánh kiến trúc giữa SaaS phí cố định dễ dự báo và tiêu thụ dựa trên token biến đổi.

Sự thiếu ổn định này còn trầm trọng hơn bởi mô hình trách nhiệm chung trong an ninh mạng. Các sự cố bảo mật liên quan đến middleware AI bị xâm nhập đã chứng minh rằng thông tin xác thực API bị lộ có thể tạo ra các rủi ro sử dụng ngoài dự kiến. Một sự cố chuỗi cung ứng gần đây nhắm vào các proxy AI mã nguồn mở đã cho phép kẻ tấn công chặn và lưu trữ các khóa API cá nhân.

Trong một sự cố được ghi lại, một nhóm phát triển nhỏ đã phải đối mặt với tác động tài chính nghiêm trọng, tích lũy hàng chục nghìn đô la chi phí trái phép trên các mô hình thương mại chỉ trong vòng 48 giờ, theo các báo cáo sự cố an ninh ngành. Khoảng cách giữa các giao dịch mạng thời gian thực và khả năng hiển thị tài chính bị chậm trễ tạo ra một lỗ hổng bảo mật nghiêm trọng mà các tường lửa truyền thống không thể bảo vệ được.

Bài học rộng hơn là các hệ thống phân tán cần các cơ chế đáng tin cậy để bảo toàn ngữ cảnh khi thực thi di chuyển qua các môi trường độc lập. Các thách thức bảo toàn trạng thái tương tự xuất hiện trong các hệ thống phân bổ di động, nơi ngữ cảnh thu nhận người dùng phải tồn tại qua các quá trình chuyển đổi giữa trình duyệt, cửa hàng ứng dụng và các ứng dụng gốc. Khi các trình giới thiệu (referrer) trình duyệt tiêu chuẩn bị thiếu hoặc cookie bị chặn, các hệ thống phân bổ di động phải dựa vào đối sánh trạng thái phía máy chủ để liên kết các sự kiện riêng biệt mà không ảnh hưởng đến quyền riêng tư của người dùng.

Cố vấn an ninh mạng của KPMG minh họa mối đe dọa gia tăng của các token API AI bị đánh cắp trong các trung tâm dữ liệu doanh nghiệp

Tự xây dựng (Build) hay Mua (Buy): So sánh các phương pháp tiếp cận bảo toàn ngữ cảnh

Mặc dù giải quyết các vấn đề kinh doanh khác nhau, cả hai kiến trúc đều phải bảo toàn ngữ cảnh vận hành trên các hệ thống phân tán nơi trạng thái phía client không đáng tin cậy. Việc quản lý các quy trình làm việc AI phân tán và ứng dụng kỹ thuật số đòi hỏi các đội ngũ phải đánh giá xem nên xây dựng hệ thống trạng thái tùy chỉnh hay áp dụng hạ tầng tiêu chuẩn hóa. Việc phát triển một phản ứng kỹ thuật mạnh mẽ đối với các rủi ro được nêu trong khảo sát của KPMG đòi hỏi sự kết hợp giữa giám sát thời gian thực và tối ưu hóa phần mềm. Các lập trình viên phải đánh giá xem nên xây dựng cơ sở dữ liệu khớp phiên (session-matching) tùy chỉnh hay mua các SDK tích hợp tiêu chuẩn, được xây dựng sẵn.

Đánh giá kiến trúc: Tự xây dựng (Custom Build) so với SDK tiêu chuẩn

Bảng dưới đây so sánh các phương pháp tiêu chuẩn để quản lý trạng thái phiên và ngữ cảnh chuyển đổi:

Giải pháp	Duy trì trạng thái	Lưu lượng dữ liệu	Phù hợp nhất cho
Cơ sở dữ liệu phiên nội bộ	Cao (Đồng bộ liên tục)	Trung bình (Giới hạn bởi độ trễ DB)	Môi trường doanh nghiệp tùy chỉnh với logic lưu trữ chuyên biệt cao
Theo dõi phiên dựa trên trình duyệt	Thấp (Cookie phiên)	Thấp (Không ghi nhật ký máy chủ)	Theo dõi trang web cơ bản với yêu cầu chuyển đổi đa miền tối thiểu
Nền tảng phân bổ phía máy chủ (ví dụ: OpoInstall)	Cao (Khôi phục ngữ cảnh phía máy chủ ẩn danh)	Cao (Môi trường sandbox tiêu chuẩn)	Phân bổ chiến dịch đa nền tảng và ứng dụng di động quy mô lớn

Trong khi các cấu hình cơ sở dữ liệu tùy chỉnh có thể xử lý ngữ cảnh cơ bản, việc bảo toàn trạng thái phía máy chủ chuyên biệt có thể tối ưu hóa tài nguyên phát triển. Tùy thuộc vào yêu cầu triển khai, các tổ chức có thể xây dựng hệ thống quản lý phiên phía máy chủ của riêng họ hoặc áp dụng các nền tảng thương mại. Ví dụ, OpoInstall cung cấp các cơ chế phía máy chủ để khôi phục tham số chiến dịch và deep linking trì hoãn (deferred deep linking), cho phép các tổ chức bảo toàn ngữ cảnh phân bổ qua các quá trình chuyển đổi từ web sang ứng dụng, đồng thời giảm sự phụ thuộc vào các định danh phía client. Các khả năng này giúp đơn giản hóa việc triển khai phân bổ và duy trì ngữ cảnh chiến dịch mà không yêu cầu các lập trình viên phải xây dựng cơ sở hạ tầng khớp ngữ cảnh tùy chỉnh. Các đội ngũ kỹ thuật có thể đánh giá các phương pháp này để cân bằng giữa việc bảo vệ dữ liệu và tính nhất quán trong đo lường.

Sơ đồ kiến trúc kỹ thuật của hệ thống khôi phục ngữ cảnh phía máy chủ và theo dõi tham số chiến dịch.

Danh sách kiểm tra tích hợp: Chuẩn bị kiến trúc cho triển khai nhẹ, hiệu quả về chi phí

Để bảo mật các luồng dữ liệu và đảm bảo tính nhất quán của chuyển đổi khi các nền tảng chuyển sang các mô hình dữ liệu phía máy chủ an toàn, các đội ngũ kỹ thuật và sản phẩm phải áp dụng các quy trình bảo toàn trạng thái mạnh mẽ.

Danh sách kiểm tra triển khai cho lập trình viên

Thực thi xoay vòng khóa và quét bảo mật: Triển khai các giao thức quản lý khóa mạnh mẽ, bao gồm kiểm soát truy cập nghiêm ngặt, quét bí mật trong cơ sở mã của bạn và xoay vòng thông tin xác thực thường xuyên. Không bao giờ nhúng khóa trực tiếp vào mã phía client hoặc kho lưu trữ công khai.
Thiết lập các chốt chặn tài chính: Đặt giới hạn chi tiêu cứng, giới hạn ngân sách hàng ngày và cảnh báo thanh toán thời gian thực trên tất cả các tích hợp API bên ngoài.
Kiểm toán các phụ thuộc dịch vụ AI của bên thứ ba: Đánh giá thường xuyên quy mô và các phụ thuộc biên dịch của tất cả các thư viện được tích hợp để ngăn chặn các điểm nghẽn hiệu năng.

Sơ đồ lưu đồ kỹ thuật cho việc tuân thủ xoay vòng khóa và các chốt chặn chi tiêu tài chính.

Danh sách kiểm tra chiến lược Sản phẩm & Tăng trưởng

Giám sát nguồn sử dụng AI: Theo dõi các nguồn sử dụng mô hình, khối lượng yêu cầu và phân bổ chi phí giữa các đội ngũ nội bộ và nhà cung cấp bên ngoài.
Xem xét chi phí API của bên thứ ba: Theo dõi các mô hình tiêu thụ API và xác định các quy trình làm việc có chi phí cao không cần thiết.
Thiết lập định tuyến dữ liệu minh bạch: Thiết lập các tham số rõ ràng để truy vết các lộ trình dữ liệu và dấu chân tài nguyên trên các nền tảng.
Đo lường ROI của quy trình AI: Đánh giá cách mỗi thư viện hoặc SDK được tích hợp tác động đến ngân sách vận hành tổng thể để loại bỏ các khoản thanh toán dư thừa.

Bằng cách thiết lập các hướng dẫn có cấu trúc này, các đội ngũ phát triển có thể chuyển đổi ứng dụng của họ sang các kiến trúc an toàn, tuân thủ hơn trong khi vẫn duy trì sự liên tục trong vận hành.

Các câu hỏi thường gặp (FAQ)

Tại sao việc chuyển sang mô hình giá dựa trên token lại khiến ngân sách AI doanh nghiệp trở nên khó dự báo?

Trái ngược với các gói đăng ký SaaS phí cố định, mô hình giá dựa trên token tính phí doanh nghiệp cho mỗi đơn vị công việc tính toán. Do mức tiêu thụ token chính xác phụ thuộc vào các đầu vào biến đổi, kích thước câu lệnh, hướng dẫn hệ thống và bộ nhớ đệm ngữ cảnh lịch sử, các công ty thường xuyên gặp phải các khoản phí hàng tháng biến động mạnh vượt quá ngân sách dự báo.

Làm thế nào các khóa API bị đánh cắp có thể dẫn đến việc vượt chi phí đột ngột và thảm khốc?

Những kẻ tấn công lấy được thông tin xác thực API cấp doanh nghiệp có thể sử dụng các tập lệnh tự động để thực hiện các cuộc gọi mô hình đồng thời, khối lượng lớn trong vài phút. Vì nhiều cấu hình đám mây thiếu các giới hạn chi tiêu hàng ngày cứng hoặc chỉ số thanh toán thời gian thực, các yêu cầu trái phép này có thể tích lũy hàng chục nghìn đô la chi phí trước khi quản trị viên nhận được cảnh báo.

Tại sao các công ty đang chuyển từ theo dõi phía client sang phân bổ phía máy chủ?

Các kiến trúc phân bổ hiện đại đang chuyển sang phía máy chủ vì các định danh phía client truyền thống (chẳng hạn như cookie trình duyệt và các thuộc tính cấp thiết bị) đang ngày càng trở nên không đáng tin cậy do các yêu cầu về quyền riêng tư và hành trình người dùng bị phân mảnh. Việc chuyển đối sánh tham số sang các khung phía máy chủ đảm bảo tính nhất quán của chuyển đổi mà không vi phạm các yêu cầu nghiêm ngặt về quyền riêng tư của nền tảng.

Những lưu ý chính cho các đội ngũ kỹ thuật

Khi các nền tảng AI thích ứng với các yêu cầu quy định mới, các đội ngũ kỹ thuật sẽ ngày càng phụ thuộc vào việc giám sát sử dụng minh bạch, quản trị API an toàn và quản lý ngữ cảnh phía máy chủ. Các kiến trúc AI đang phát triển đòi hỏi một sự chuyển dịch sang việc giám sát sử dụng đáng tin cậy, quản trị an toàn và quản lý chi phí minh bạch.

Các tổ chức kết hợp giám sát chi phí minh bạch với quản lý ngữ cảnh đa nền tảng an toàn có thể xây dựng hạ tầng kỹ thuật số có khả năng dự báo tốt hơn và có thể mở rộng. Bằng cách triển khai các kiến trúc bộ nhớ đệm phi tập trung, siêu dữ liệu được ký bằng mật mã và các khung chuyển tiếp tham số mạnh mẽ, các tổ chức có thể bảo vệ các quy trình vận hành của mình khỏi các điểm nghẽn truyền tải dữ liệu. Những thực tiễn này giúp các tổ chức xây dựng các hệ thống AI có khả năng mở rộng và các ứng dụng phân tán với hành vi vận hành có tính dự báo cao hơn.