Kiến Trúc AI Agent Nào Giúp Doanh Nghiệp Kiểm Soát Ngân Sách

AI đang rẻ hơn ở cấp độ từng token, nhưng hóa đơn của doanh nghiệp có thể tăng nhanh hơn bao giờ hết. Đây là nghịch lý mà Gartner cảnh báo khi các công ty chuyển từ chatbot thông thường sang những AI Agent có khả năng suy luận nhiều bước, sử dụng công cụ và tự động thực hiện quy trình phức tạp. Theo dự báo của hãng nghiên cứu này, chi phí suy luận cho mỗi quy trình AI Agent có thể tăng hơn năm lần đến năm 2028, ngay cả khi chi phí tạo token tiếp tục được cải thiện.

Vấn đề không nằm đơn thuần ở giá của một mô hình AI. Khi mô hình trở nên hiệu quả hơn, doanh nghiệp có xu hướng giao cho AI nhiều công việc hơn, lựa chọn các mô hình mạnh hơn và triển khai những quy trình tự động hóa phức tạp hơn. Số token tiêu thụ vì thế tăng lên, trong khi chi phí cho mỗi token của các mô hình tiên tiến vẫn có thể cao.

Đối với doanh nghiệp, đây là thời điểm cần thay đổi cách đánh giá hiệu quả AI. Thay vì chỉ hỏi mô hình nào thông minh hơn hoặc giá token nào thấp hơn, câu hỏi quan trọng là mỗi quy trình tự động hóa tạo ra bao nhiêu giá trị so với tổng chi phí để hoàn thành công việc.

1. Nghịch lý chi phí AI. Token rẻ hơn nhưng tổng hóa đơn tăng

Gartner gọi hiện tượng này là Inference Paradox, có thể hiểu là nghịch lý chi phí suy luận AI.

Theo Will Sommer, giám đốc phân tích cấp cao tại Gartner, việc chuyển một nhiệm vụ từ chatbot cơ bản sang mô hình suy luận phục vụ quy trình AI Agent có thể làm chi phí suy luận của nhà cung cấp tăng ít nhất năm lần, và còn cao hơn khi độ phức tạp của nhiệm vụ tăng lên.

Đây là sự khác biệt giữa giá đơn vị và tổng mức tiêu thụ. Một doanh nghiệp có thể giảm chi phí cho mỗi token nhưng vẫn phải trả nhiều tiền hơn vì mỗi nhiệm vụ cần nhiều token hơn, nhiều lượt gọi mô hình hơn và nhiều bước xử lý hơn.

Hãy hình dung một chatbot chỉ cần trả lời câu hỏi về chính sách đổi trả. Trong khi đó, một AI Agent xử lý toàn bộ yêu cầu đổi trả có thể phải đọc thông tin đơn hàng, kiểm tra trạng thái thanh toán, đối chiếu chính sách, xác định điều kiện hoàn tiền và cập nhật hệ thống.

Hai quy trình có thể bắt đầu bằng cùng một yêu cầu của khách hàng, nhưng lượng công việc mà hệ thống phải thực hiện rất khác nhau.

Đó là lý do giá token giảm không đồng nghĩa với chi phí vận hành AI giảm. Theo Gartner, chi phí suy luận cho mỗi quy trình AI Agent được dự báo tăng hơn năm lần đến năm 2028. Đây là dự báo về chi phí trên mỗi quy trình, không phải khẳng định rằng ngân sách AI của mọi doanh nghiệp sẽ tăng đúng năm lần.

2. Vì sao mô hình AI thế hệ mới có thể đắt hơn mô hình cũ?

Nguyên nhân thứ nhất đến từ phía các phòng thí nghiệm phát triển mô hình nền tảng.

Khi công nghệ cải thiện, việc tạo token có thể trở nên hiệu quả hơn. Tuy nhiên, các nhà phát triển không nhất thiết chuyển toàn bộ khoản tiết kiệm này thành giá bán thấp hơn. Họ còn đầu tư vào những mô hình thế hệ mới cần năng lực tính toán lớn hơn và có chi phí trên mỗi token cao hơn.

Sommer chỉ ra rằng các khả năng AI thế hệ cũ đang trở nên rẻ hơn đáng kể, trong khi những mô hình tiên tiến nhất có thể đắt hơn. Ông đưa ra ví dụ về Anthropic, trong đó Fable có chi phí trên mỗi token cao hơn Opus.

Điều này phản ánh sự phân hóa của thị trường. Không phải mọi mô hình đều chạy đua về giá theo cùng một hướng. Các mô hình phục vụ tác vụ phổ thông có thể trở nên rẻ hơn, trong khi những mô hình được thiết kế để xử lý công việc phức tạp có thể duy trì mức giá cao.

Đối với doanh nghiệp, lựa chọn mô hình vì thế không nên chỉ dựa trên bảng giá. Một mô hình đắt hơn có thể hợp lý nếu nó giải quyết được công việc mà mô hình rẻ không thể xử lý. Ngược lại, sử dụng mô hình tiên tiến cho những nhiệm vụ đơn giản có thể tạo ra chi phí không cần thiết.

3. AI Agent tiêu thụ gấp 5–30 lần token so với chatbot

Động lực thứ hai là mức tiêu thụ.

Theo Sommer, AI Agent có thể cần lượng token gấp 5–30 lần chatbot cơ bản để thực hiện cùng một nhiệm vụ. Mức chênh lệch thực tế phụ thuộc vào cách thiết kế quy trình, độ phức tạp của nhiệm vụ và số bước suy luận cần thiết.

Một chatbot thường xử lý yêu cầu thông qua một hoặc một vài lượt tương tác. Một AI Agent có thể phải lập kế hoạch, truy xuất dữ liệu, gọi công cụ, đánh giá kết quả trung gian và thử lại khi gặp lỗi.

Mỗi bước bổ sung có thể làm tăng lượng token tiêu thụ. Nếu tác nhân thực hiện nhiều vòng suy luận hoặc liên tục gọi các công cụ mà không đạt kết quả, chi phí có thể tăng nhanh mà không tạo thêm giá trị tương ứng.

Tình hình càng phức tạp khi AI được giao nhiệm vụ kéo dài qua nhiều hệ thống hoặc nhiều bộ phận. Một quy trình có thể cần thông tin từ bán hàng, kế toán, kho vận và chăm sóc khách hàng. Khi đó, AI không chỉ trả lời một câu hỏi mà phải phối hợp nhiều hoạt động.

Đây là điểm doanh nghiệp cần đặc biệt lưu ý. AI Agent không đơn thuần là chatbot được bổ sung một vài tính năng. Nó là một kiến trúc thực thi công việc, và chi phí cần được quản lý ở cấp độ quy trình thay vì chỉ nhìn vào từng lần gọi mô hình.

4. Gartner dự báo chi phí AI tăng theo từng đợt, không phải đường thẳng

Doanh nghiệp không nên hiểu dự báo đến năm 2028 như một đường chi phí tăng đều qua từng tháng.

Theo Gartner, chi tiêu AI có thể dao động theo từng đợt, chịu ảnh hưởng từ sự xuất hiện của mô hình mới, áp lực cạnh tranh và khả năng kiểm soát ngân sách của các tổ chức.

Sommer cho biết làn sóng AI Agent đầu tiên đã khiến chi tiêu tăng mạnh vào mùa xuân, một phần do xu hướng được gọi là tokenmaxxing — sử dụng lượng token lớn để tận dụng khả năng của AI. Sau giai đoạn này, thị trường đang bước vào thời kỳ thắt chặt chi tiêu.

Tuy nhiên, Gartner dự kiến sẽ còn nhiều đợt tăng trưởng khác khi các tác nhân suy luận mạnh hơn, mô hình thế giới và những công nghệ AI mới trưởng thành.

Điều này tạo ra một bài toán khó cho bộ phận công nghệ và tài chính. Nếu cắt giảm chi tiêu quá sớm, doanh nghiệp có thể tụt lại trong quá trình ứng dụng công nghệ. Nếu mở rộng quá nhanh, họ có nguy cơ triển khai những quy trình tốn kém mà chưa chứng minh được hiệu quả.

Chiến lược hợp lý không phải là đóng băng mọi khoản đầu tư. Đó là phân bổ ngân sách theo giá trị thực tế, đồng thời duy trì khả năng điều chỉnh khi mô hình, giá cả và nhu cầu sử dụng thay đổi.

5. Dữ liệu khảo sát cho thấy nhiều doanh nghiệp chưa kiểm soát được token

Một khảo sát VB Pulse được thực hiện vào tháng 9 với 109 người trả lời đủ điều kiện cho thấy cách doanh nghiệp quản lý chi phí AI vẫn còn nhiều khoảng trống.

Con số 21% đặc biệt đáng chú ý. Một nền tảng điều phối có thể giúp phân phối công việc giữa nhiều tác nhân, nhưng nếu không có giới hạn chi tiêu tự động, một tác vụ bị lặp vô hạn hoặc một quy trình tiêu thụ quá nhiều token vẫn có thể làm hóa đơn tăng mạnh.

Trong khi đó, 31% doanh nghiệp chuyển các tác vụ thường xuyên sang mô hình rẻ hơn cho thấy một phương pháp kiểm soát thực tế đang được áp dụng: không phải nhiệm vụ nào cũng cần mô hình mạnh nhất.

Tuy nhiên, định tuyến sang mô hình rẻ hơn chỉ hiệu quả khi chất lượng đầu ra vẫn đáp ứng yêu cầu. Nếu tiết kiệm được chi phí suy luận nhưng phải bổ sung nhiều vòng sửa lỗi hoặc con người xử lý lại kết quả, tổng chi phí có thể không giảm như kỳ vọng.

6. AI FinOps. Đo lường chi phí theo giá trị thay vì chỉ theo token

Một trong những khuyến nghị quan trọng nhất của Gartner là đầu tư vào khả năng quan sát chi phí, hay observability, như nền tảng của AI FinOps.

AI FinOps là cách quản lý và tối ưu chi phí AI thông qua việc đo lường mức tiêu thụ, phân bổ ngân sách, đánh giá hiệu quả và điều chỉnh kiến trúc vận hành.

Doanh nghiệp không thể tối ưu những khoản chi mà họ không nhìn thấy. Nếu hóa đơn chỉ hiển thị tổng lượng token tiêu thụ, bộ phận tài chính khó xác định tác nhân nào đang gây tốn kém, quy trình nào đang kém hiệu quả và khoản chi nào tạo ra giá trị kinh doanh.

Một hệ thống theo dõi phù hợp nên giúp doanh nghiệp trả lời được các câu hỏi sau:

• Tác nhân nào tiêu thụ nhiều token nhất?

• Chi phí trung bình cho mỗi nhiệm vụ thành công là bao nhiêu?

• Bao nhiêu lượt gọi mô hình không tạo ra kết quả hữu ích?

• Quy trình nào thường xuyên vượt ngân sách?

• Chi phí AI có tương xứng với số công việc được tự động hóa hay số trường hợp được xử lý thành công không?

Điểm mấu chốt là chuyển từ chỉ số kỹ thuật sang chỉ số kinh doanh.

Ví dụ, thay vì đặt mục tiêu giảm 20% token, doanh nghiệp có thể đặt mục tiêu giảm chi phí trên mỗi yêu cầu khách hàng được xử lý thành công. Cách tiếp cận này cho phép hệ thống sử dụng thêm tài nguyên khi thực sự cần thiết, đồng thời hạn chế lãng phí ở những tác vụ không tạo ra kết quả.

7. Định tuyến AI thông minh. Không phải tác vụ nào cũng cần mô hình cao cấp

Gartner khuyến nghị doanh nghiệp thể chế hóa việc phân tầng suy luận, hay inference tiering.

Thay vì gửi mọi yêu cầu đến cùng một mô hình, hệ thống cần tự động lựa chọn mô hình phù hợp với độ phức tạp và mức độ rủi ro của từng tác vụ.

Cách phân tầng này không nhất thiết yêu cầu ba mô hình riêng biệt. Doanh nghiệp có thể dùng nhiều cấu hình khác nhau tùy theo nhà cung cấp, năng lực hệ thống và yêu cầu chất lượng.

Gartner cũng khuyến nghị đầu tư vào agentic harnesses — lớp kiến trúc điều phối xác định mô hình được triển khai ở đâu, khi nào và theo cách nào trong các hệ thống tự chủ.

Đây là lớp quan trọng để thực thi chính sách định tuyến, giới hạn số lượt gọi, kiểm soát vòng lặp và đặt ngưỡng chi tiêu. Nếu thiếu cơ chế này, lựa chọn mô hình rẻ hơn có thể chỉ là quyết định thủ công, không được áp dụng nhất quán khi số lượng tác nhân tăng lên.

8. Đo giá trị trên mỗi kết quả. Cách bảo vệ biên lợi nhuận AI

Một tính năng AI có thể hoạt động đúng về mặt kỹ thuật nhưng vẫn không tạo ra giá trị kinh doanh đủ lớn.

Chẳng hạn, một tác nhân có thể tự động tạo hàng nghìn bản tóm tắt mỗi tháng. Nhưng nếu nhân viên vẫn phải đọc lại, sửa phần lớn nội dung và nhập dữ liệu thủ công vào hệ thống khác, lợi ích thực tế có thể rất thấp.

Gartner khuyến nghị mỗi tính năng AI cần có dự báo giá trị trong điều kiện còn nhiều bất định, đồng thời theo dõi chi tiêu so với một chỉ số đầu ra rõ ràng. Những chỉ số đó có thể là số tác vụ được tự động hóa hoặc số trường hợp được giải quyết thành công.

Điều này giúp doanh nghiệp phân biệt ba tình huống.

Thứ nhất, quy trình vừa tiết kiệm chi phí vừa tạo ra kết quả tốt. Đây là ứng viên nên mở rộng.

Thứ hai, quy trình tạo ra giá trị nhưng chi phí cao. Doanh nghiệp cần tối ưu mô hình, định tuyến, dữ liệu và cách thiết kế tác vụ.

Thứ ba, quy trình vừa tốn kém vừa không đạt kết quả mong muốn. Doanh nghiệp nên cải tiến nhanh hoặc dừng triển khai thay vì tiếp tục đầu tư chỉ vì đã bỏ nhiều nguồn lực ban đầu.

Đây là cách tiếp cận quan trọng để tránh biến AI thành một khoản chi công nghệ khó giải thích với ban lãnh đạo.

9. Kiểm thử sức chịu đựng. Đừng triển khai AI theo kiểu đặt xong rồi quên

Một sai lầm trong quản trị AI là giả định rằng quy trình đã hoạt động tốt trong giai đoạn thử nghiệm sẽ tiếp tục ổn định sau khi đưa vào vận hành.

Trên thực tế, giá token có thể thay đổi, mô hình có thể được nâng cấp, lượng yêu cầu có thể tăng và những trường hợp ngoại lệ có thể xuất hiện khi hệ thống tiếp xúc với dữ liệu thực.

Gartner khuyến nghị xác định trước ngưỡng thành công, chi phí tuân thủ và chi phí giảm thiểu rủi ro. Những điều kiện này cần được kiểm thử trước khi cho phép một quy trình AI đi vào hoạt động chính thức.

Doanh nghiệp nên kiểm tra điều gì xảy ra khi giá suy luận tăng, lượng công việc tăng đột biến, mô hình trả về kết quả không hợp lệ hoặc tác nhân liên tục thử lại mà không hoàn thành nhiệm vụ.

Các giới hạn ngân sách cần được thiết kế thành cơ chế vận hành, không chỉ là lời nhắc dành cho đội phát triển. Khi vượt ngưỡng, hệ thống có thể dừng tác vụ, chuyển sang phương án dự phòng hoặc yêu cầu con người phê duyệt.

Mục tiêu không phải là loại bỏ mọi rủi ro. Mục tiêu là bảo đảm một lỗi đơn lẻ không thể âm thầm tạo ra khoản chi lớn hoặc làm gián đoạn quy trình quan trọng.

10. Dữ liệu độc quyền và mô hình chuyên biệt tạo lợi thế cạnh tranh

Khuyến nghị cuối cùng của Gartner là tận dụng dữ liệu độc quyền, kết hợp tinh chỉnh mô hình theo lĩnh vực và các vòng phản hồi học hỏi để duy trì sự khác biệt.

Sommer nhận định các mô hình chuyên biệt, được tối ưu cho từng lĩnh vực, nhìn chung có thể hoạt động đáng tin cậy và hiệu quả hơn mô hình tiên tiến tổng quát đối với những tác vụ cụ thể.

Điều này không có nghĩa mọi doanh nghiệp đều cần tự huấn luyện một mô hình nền tảng. Trong nhiều trường hợp, việc chuẩn hóa dữ liệu, cải thiện khả năng truy xuất thông tin và xây dựng bộ đánh giá theo nghiệp vụ đã có thể tạo ra cải thiện đáng kể.

Một doanh nghiệp logistics, chẳng hạn, có thể cần AI hiểu mã vận đơn, trạng thái giao hàng, quy tắc xử lý sự cố và điều kiện hoàn phí. Một mô hình tổng quát mạnh chưa chắc giải quyết tốt những quy tắc riêng này nếu không được cung cấp dữ liệu và ngữ cảnh phù hợp.

Khi doanh nghiệp tích lũy được dữ liệu phản hồi về những tác vụ thành công, những lỗi thường gặp và các ngoại lệ trong vận hành, họ có thể tiếp tục cải thiện hệ thống. Theo thời gian, tri thức đặc thù này có thể trở thành lợi thế cạnh tranh khó sao chép.

11. Doanh nghiệp Việt Nam sẽ chịu tác động thế nào?

Đối với doanh nghiệp Việt Nam, nghịch lý chi phí AI đặc biệt quan trọng khi tự động hóa bắt đầu mở rộng từ thử nghiệm sang hoạt động thường xuyên.

Các công ty thương mại điện tử, logistics, dịch vụ khách hàng và phần mềm có thể dùng AI Agent để xử lý nhiều bước công việc. Nhưng khi số lượng yêu cầu tăng, chi phí không còn chỉ phụ thuộc vào giá gói dịch vụ mà còn phụ thuộc vào cách hệ thống được thiết kế.

Một tác nhân chăm sóc khách hàng có thể tiết kiệm thời gian cho nhân viên, nhưng nếu mỗi trường hợp đều kích hoạt nhiều lượt suy luận, truy xuất dữ liệu và gọi công cụ, chi phí sẽ tích lũy theo khối lượng giao dịch.

Doanh nghiệp cũng cần tính đến yêu cầu bảo mật, kiểm soát dữ liệu và nghĩa vụ tuân thủ tại các thị trường nơi họ hoạt động. Một giải pháp có chi phí token thấp chưa chắc là lựa chọn tốt nhất nếu việc triển khai làm tăng rủi ro hoặc phát sinh nhiều chi phí quản trị khác.

Vì vậy, bài toán AI tại Việt Nam không nên chỉ xoay quanh việc chọn nhà cung cấp có giá thấp. Cần đánh giá tổng chi phí vận hành, hiệu quả lao động, chất lượng đầu ra và khả năng mở rộng của toàn bộ hệ thống.

12. Doanh nghiệp nhỏ và siêu nhỏ nên làm gì trong thời đại AI?

Doanh nghiệp nhỏ không nhất thiết phải xây dựng hệ thống AI phức tạp ngay từ đầu. Cách tiếp cận phù hợp là bắt đầu bằng những công việc lặp lại, có tiêu chí đánh giá rõ ràng và không đòi hỏi quyền hành động quá rộng.

Ví dụ, một cửa hàng trực tuyến có thể dùng AI để phân loại câu hỏi, soạn bản nháp trả lời hoặc tóm tắt phản hồi khách hàng. Những tác vụ này có thể được đánh giá bằng thời gian tiết kiệm, tỷ lệ câu trả lời cần chỉnh sửa và chi phí trên mỗi trường hợp xử lý.

Khi đã có dữ liệu thực tế, doanh nghiệp mới nên cân nhắc tự động hóa sâu hơn.

Bốn việc cần thực hiện ngay gồm:

• Đặt ngân sách cho từng quy trình. Xác định giới hạn chi tiêu và cơ chế dừng khi vượt ngưỡng.

• Dùng mô hình theo độ khó. Không sử dụng mô hình cao cấp cho mọi yêu cầu.

• Theo dõi kết quả thực tế. Đo chi phí trên mỗi tác vụ thành công, thay vì chỉ xem tổng token.

• Giữ quyền kiểm soát. Những hành động ảnh hưởng đến tiền bạc, dữ liệu quan trọng hoặc khách hàng cần có giới hạn và bước kiểm tra thích hợp.

Với doanh nghiệp nhỏ, lợi thế không nằm ở việc triển khai nhiều AI Agent nhất. Lợi thế nằm ở việc chọn đúng công việc, kiểm soát được chi phí và tạo ra kết quả đo lường được.

13. Doanh nghiệp Việt Nam nên đầu tư vào kiến trúc AI như thế nào?

Ở quy mô lớn hơn, doanh nghiệp nên xem quản trị chi phí AI là một phần của kiến trúc hệ thống, thay vì chỉ giao cho bộ phận tài chính theo dõi hóa đơn.

Trước hết, cần xây dựng lớp quan sát ghi nhận chi phí theo mô hình, tác nhân, phòng ban và quy trình. Tiếp đó là lớp điều phối giúp lựa chọn mô hình phù hợp, giới hạn số lượt gọi và kiểm soát các vòng lặp.

Một lớp đánh giá chất lượng cũng cần được thiết lập để so sánh chi phí với kết quả. Nếu một mô hình rẻ hơn tạo ra nhiều lỗi hơn, hệ thống phải tính cả chi phí sửa lỗi trước khi quyết định chuyển đổi.

Cuối cùng, doanh nghiệp nên phát triển năng lực dữ liệu riêng. Dữ liệu được chuẩn hóa, định nghĩa nghiệp vụ rõ ràng và cơ chế phản hồi có chất lượng sẽ giúp giảm sự phụ thuộc vào việc liên tục sử dụng những mô hình đắt nhất để bù đắp cho quy trình thiếu hiệu quả.

Đây cũng là cách tiếp cận phù hợp với chiến lược dài hạn. Khi công nghệ thay đổi, doanh nghiệp có thể thay mô hình mà không phải xây dựng lại toàn bộ cơ chế quản trị và quy trình đánh giá.

14. Chiến thắng trong cuộc đua AI không thuộc về bên dùng nhiều token nhất

Dự báo của Gartner đặt ra một cảnh báo quan trọng cho giai đoạn phát triển tiếp theo của AI doanh nghiệp. Token có thể rẻ hơn, nhưng những quy trình AI Agent phức tạp hơn có thể khiến chi phí suy luận tăng mạnh. Theo dự báo được công bố trong bài viết gốc, mức chi phí trên mỗi quy trình có thể tăng hơn năm lần đến năm 2028.

Doanh nghiệp không thể giải quyết bài toán này chỉ bằng cách săn tìm mô hình rẻ nhất. Họ cần quan sát chi tiêu, định tuyến tác vụ hợp lý, đo giá trị trên mỗi kết quả, kiểm thử sức chịu đựng và tận dụng dữ liệu chuyên biệt.

Quan trọng hơn, AI phải được quản lý như một hệ thống vận hành có chi phí và đầu ra cụ thể. Mỗi quy trình cần có mục tiêu, giới hạn ngân sách và tiêu chuẩn chất lượng. Những hệ thống không tạo ra đủ giá trị phải được cải thiện hoặc dừng lại.

Trong dài hạn, lợi thế cạnh tranh không chỉ đến từ việc sở hữu mô hình thông minh hơn. Nó đến từ khả năng kết hợp mô hình phù hợp, dữ liệu riêng, kiến trúc điều phối hiệu quả và kỷ luật tài chính.

AI tốt không phải là AI sử dụng nhiều tài nguyên nhất. Đó là AI hoàn thành đúng công việc, với chất lượng chấp nhận được và chi phí tương xứng với giá trị mà doanh nghiệp thực sự nhận được.

Kiến Trúc AI Agent Nào Giúp Doanh Nghiệp Kiểm Soát Ngân Sách

Gartner AI Agent, chi phí AI, AI FinOps, giá token AI, Inference Paradox, tối ưu AI, AI Agent doanh nghiệp, định tuyến AI, mô hình AI, Tokenomics Forecast, quản trị AI, tự động hóa AI, dữ liệu độc quyền, AI Việt Nam