Bài viết

Tóm tắt cốt lõi: Chi phí tự host Qwen 27B phụ thuộc vào lượng token hữu ích GPU thực sự phục vụ, không chỉ giá thuê mỗi giờ. SME nên giữ tải nền ổn định trên hạ tầng riêng và chuyển đỉnh tải sang API, nhưng chỉ sau khi đo thông lượng, chất lượng, độ trễ và cộng đủ nhân công vận hành vào điểm hòa vốn.
Một GPU rẻ chưa chắc tạo ra token rẻ. Nếu doanh nghiệp chỉ dùng hệ thống trong giờ hành chính, chiếc GPU thuê liên tục vẫn tính tiền cả đêm, cuối tuần và lúc không có yêu cầu. Khoản nhàn rỗi là chi phí công suất đã mua nhưng không chuyển thành kết quả kinh doanh.
Trong góc nhìn vận hành của Cường Nguyễn tại AI Ops Solutions, câu hỏi cần trả lời không phải “model mở hay API tốt hơn”, mà là: doanh nghiệp có bao nhiêu tải nền, tải đó có đủ đều và có người chịu trách nhiệm vận hành hay chưa? Đây là bài toán phân bổ công suất trước khi là bài toán lựa chọn model.
Lưu ý dữ liệu: các thông số mang tên Qwen3.8-27B, giá thuê và giá API dưới đây được lấy từ hồ sơ nghiên cứu cung cấp cho bài viết, chưa được đối chiếu độc lập với model card và báo giá trực tiếp. Chúng được dùng như kịch bản tính toán, không phải xác nhận khả năng mua hoặc triển khai hiện tại. Công thức vẫn áp dụng khi thay bằng số liệu đã kiểm chứng của doanh nghiệp.
Giả sử một H100 80GB có giá 2,04 USD/giờ. Với tháng quy ước 720 giờ, chi phí thuê là 1.468,80 USD. Nếu ứng dụng chỉ phát sinh tải trong 176 giờ làm việc, hơn ba phần tư thời gian thuê nằm ngoài cửa sổ sử dụng, trước cả khi tính khoảng nghỉ giữa các yêu cầu.
Tắt máy ngoài giờ có thể giảm tiền thuê, nhưng đổi lại là thời gian khởi động, tải trọng số và rủi ro không lấy lại được GPU đúng cấu hình. Vì vậy, cần phân biệt thuê thường trực với chạy theo lô có lịch. Một hệ thống xử lý tài liệu ban đêm có bài toán kinh tế khác chatbot phải phản hồi ngay.
API biến phần lớn chi phí suy luận thành biến phí: dùng bao nhiêu trả bấy nhiêu. GPU thường trực biến nó thành nghĩa vụ thanh toán theo thời gian. Khi giá API giảm, ngưỡng lưu lượng cần thiết để tự host thắng về kinh tế còn tăng lên. Doanh nghiệp tự host đang nhận về rủi ro nhu cầu mà nhà cung cấp API trước đó gánh thay.
Trả lời nhanh: Đơn giá token tự host chỉ có ý nghĩa khi gắn với thông lượng đo thực tế, mức sử dụng công suất và chi phí vận hành. GPU đạt 10% công suất hữu ích có chi phí phần cứng trên mỗi token cao gấp 10 lần mức đầy tải, trước khi cộng nhân công.

Chỉ số GPU utilization trong công cụ giám sát không tự động cho biết hiệu quả kinh tế. GPU có thể bận xử lý prompt dài, yêu cầu bị hủy hoặc retry, trong khi số tác vụ hoàn thành thấp. Trong bài này, utilization kinh tế là thông lượng hữu ích trung bình chia cho thông lượng bền vững đã benchmark trên cùng loại tải.
Thông lượng bền vững phải thỏa mãn giới hạn p95 độ trễ, chất lượng và tỷ lệ lỗi. Không lấy kỷ lục throughput khi hàng nghìn yêu cầu xếp hàng làm mẫu số cho ứng dụng hỗ trợ khách hàng. Nếu hệ thống chỉ đạt tốc độ đó khi người dùng phải chờ quá lâu, đó không phải công suất có thể bán hoặc sử dụng thực tế.
Trong kịch bản API của hồ sơ nghiên cứu, giá là 0,45 USD/triệu input token và 3,20 USD/triệu output token. Với tỷ lệ 10 input : 1 output, mỗi một triệu output kéo theo chi phí input 4,50 USD; tổng cộng là 7,70 USD, không phải 3,20 USD.
Tuy nhiên, không được dùng tổng token đó nhân với tốc độ sinh output. Prefill và decode có đặc tính tính toán khác nhau; cache cũng thay đổi chi phí. Cần benchmark cả chu kỳ yêu cầu. Bài phân tích chi phí ngữ cảnh và tool schema của AI Agent giải thích vì sao cấu trúc prompt có thể làm lệch dự toán; ở đây, trọng tâm là tác động của nó lên công suất.
Với tải đồng nhất và cùng định nghĩa token, công thức phần cứng là: Chi phí USD/triệu token = P × 1.000.000 ÷ (T × 3.600 × U). Trong đó P là giá GPU mỗi giờ, T là thông lượng bền vững token/giây và U là utilization kinh tế, biểu diễn từ 0 đến 1.
Công thức đầy đủ theo tháng dễ quản trị hơn: TCO mỗi triệu token hữu ích = tổng chi phí tháng ÷ số triệu token hữu ích thực tế. Tổng chi phí gồm GPU, CPU/RAM, lưu trữ, mạng, observability, nhân công, dự phòng và chi phí API chuyển tiếp. Với máy đã mua, phải tính khấu hao và chi phí vốn thay vì coi phần cứng là miễn phí.
Giả sử 2,50 USD/giờ và 5.000 token/giây, chi phí đầy tải là khoảng 0,139 USD/triệu token. Ở utilization 50%, con số tăng lên 0,278 USD; ở 10%, lên 1,389 USD. Đây là giả định mô phỏng, không phải benchmark Qwen 27B và không chứng minh một GPU cụ thể đạt tốc độ đó.
Nếu API tương đương có giá A trên cùng đơn vị token, điểm hòa vốn phần cứng là U hòa vốn = chi phí đầy tải ÷ A. Khi tính thêm chi phí cố định, phải đưa chúng vào tử số trước. Nếu kết quả vượt 100%, cấu hình không thể hòa vốn trong các giả định đang dùng.
Đừng hỏi GPU có thể chạy nhanh đến đâu. Hãy hỏi nó tạo được bao nhiêu đầu ra đạt chuẩn trong một tháng mà vẫn giữ đúng cam kết độ trễ.
Hồ sơ nghiên cứu mô tả model dense 27B với dung lượng trọng số khoảng 56GB ở BF16, 28GB ở FP8 và 14–16GB ở 4-bit. Đây chỉ là mốc dự toán bộ nhớ trọng số. VRAM thực tế còn chứa KV cache, bộ đệm runtime và phần phát sinh từ triển khai quantization.
Một GPU 80GB có thể đủ chứa các cấu hình đó nhưng không mặc nhiên đủ cho nhiều phiên context dài. Mốc context 262.144 token, cùng khả năng mở rộng tới 1 triệu token nêu trong hồ sơ, phải được kiểm tra lại theo model card và runtime; không nên hiểu là mọi cấu hình đều phục vụ được ở thông lượng hữu ích.
Tài liệu chính thức của vLLM là điểm tham chiếu cho serving, batching và cấu hình bộ nhớ. Đây là tài liệu runtime, không phải bằng chứng rằng mọi biến thể Qwen hoặc mọi định dạng quantization đều được hỗ trợ trên cấu hình bạn chọn.
Các điểm benchmark do nhà cung cấp công bố trong hồ sơ chưa có đánh giá độc lập kèm theo, nên không được dùng làm bảo đảm chất lượng. Trước khi thuê dài hạn, cần xác nhận tên model, giấy phép, trọng số và hướng dẫn triển khai qua kênh GitHub chính thức của Qwen cùng model card tương ứng.
Với SME, bộ kiểm thử nên gồm câu hỏi tiếng Việt, trích xuất chứng từ, JSON hợp lệ, gọi công cụ và trường hợp phải từ chối. So sánh API với self-host chỉ có giá trị khi cả hai vượt cùng ngưỡng chất lượng. Một model rẻ nhưng làm tăng số lần sửa tay không phải phương án tiết kiệm.
Trả lời nhanh: Theo kịch bản thuê 720 giờ, H100 giá 2,04 USD/giờ tốn 1.468,80 USD/tháng; A100 giá 1,07 USD/giờ tốn 770,40 USD. So với API 3,20 USD/triệu output token, hòa vốn phần cứng lần lượt khoảng 459 triệu và 241 triệu output token, chưa tính input và vận hành.
Bảng dưới dùng USD, chưa gồm thuế, phí thanh toán và các dịch vụ phụ trợ. Giá từ hồ sơ Akash/OpenRouter là đầu vào kịch bản, cần kiểm tra lại trước khi ra quyết định. Điểm hòa vốn là yêu cầu về sản lượng, không phải khẳng định phần cứng tạo được sản lượng đó.
| Phương án | Chi phí nền mỗi tháng | Mốc so với API output-only | Ràng buộc công suất | Khuyến nghị thực chiến |
|---|---|---|---|---|
| API theo token | Không giả định phí cố định; 0,45 USD/triệu input và 3,20 USD/triệu output | Tăng theo token thực tế | Rate limit, độ trễ và chính sách dữ liệu | Phù hợp tải thấp, biến động hoặc chưa đo rõ |
| Một H100 80GB | 1.468,80 USD cho 720 giờ, chỉ tiền GPU | 459 triệu output token/tháng | Cần trung bình khoảng 177 output token/giây suốt tháng | Chỉ xét khi benchmark chứng minh đủ sản lượng và chất lượng |
| Một A100 80GB | 770,40 USD cho 720 giờ, chỉ tiền GPU | 241 triệu output token/tháng | Cần trung bình khoảng 93 output token/giây suốt tháng | Giá thuê thấp chưa đủ; phải đo throughput tương ứng |
| H100 cộng nhân công | 2.218,80–4.468,80 USD, chưa gồm hạ tầng phụ | Khoảng 693–1.397 triệu output token/tháng | Công suất một GPU có thể không đáp ứng được mốc này | Dùng TCO để loại sớm cấu hình không khả thi |
| Hybrid GPU và API | Tiền GPU nền cộng token chuyển tiếp và vận hành | Phụ thuộc đường cong tải | Cần router, hàng đợi và kiểm soát fallback | Giữ GPU nhỏ đủ bận, chuyển tải đỉnh có giới hạn |
Ở tỷ lệ 10 input : 1 output, API tốn 7,70 USD cho mỗi triệu output cùng lượng input đi kèm. Khi đó H100 có ngưỡng hòa vốn phần cứng khoảng 191 triệu output token/tháng. Nhưng GPU phải xử lý cả input tương ứng; không thể lấy ngưỡng thấp hơn này rồi giữ nguyên benchmark decode-only.
H100 cũng không mặc nhiên kinh tế hơn A100, hoặc ngược lại. Phải so chi phí trên tác vụ hoàn thành dưới cùng SLA. Một card đắt hơn nhưng xử lý được nhiều tải hữu ích hơn có thể thắng; một card rẻ nhưng thiếu bộ nhớ cho concurrency thực tế có thể thua ngay từ vòng thử nghiệm.
Giả sử tải cao nhất gấp ba mức trung bình. Mua GPU đủ cho đỉnh sẽ tạo ra nhiều giờ nhàn rỗi. Hybrid giữ phần yêu cầu đều đặn trên GPU và chuyển phần vượt ngưỡng sang API. Lợi ích nằm ở việc không sở hữu công suất chỉ cần trong vài khoảng ngắn, chứ không phải thêm một router là tự động tiết kiệm.
Mô phỏng Nadir trong hồ sơ đưa ra 46,3 tỷ token/tháng: toàn API khoảng 21.875 USD, cấu hình 11 GPU phục vụ đỉnh khoảng 20.075 USD, còn 5 GPU cộng API overflow khoảng 14.054 USD. Đây là mô phỏng dùng giả định 5.000 token/giây cho model 20B, không thể chuyển nguyên kết quả sang Qwen 27B. Nadir cung cấp router nên cũng có lợi ích thương mại trong cách trình bày.
n8n nên điều phối nghiệp vụ, không thay thế inference server hoặc bộ lập lịch GPU. Các tác vụ ghi CRM, tạo đơn hoặc thanh toán cần idempotency để retry không tạo hành động trùng. Dữ liệu cấm rời mạng phải được chặn tại gateway, không chỉ dựa vào lựa chọn endpoint bên trong workflow.
Trước khi tối ưu nơi host, hãy chọn đúng tầng model cho từng việc. Trích xuất trường dữ liệu không nhất thiết cần model suy luận mạnh nhất. Tuy nhiên, thay model phải qua kiểm thử: routing theo giá mà bỏ qua tỷ lệ hoàn thành chỉ chuyển chi phí từ hóa đơn API sang đội vận hành.
Ước tính trong hồ sơ nghiên cứu dành 10–20 giờ kỹ sư mỗi tháng cho vá lỗi, nâng cấp, giám sát và sự cố. Với đơn giá 75–150 USD/giờ, khoảng chi phí là 750–3.000 USD/tháng. Đây là giả định lập ngân sách, không phải mức lương chuẩn của SME Việt Nam; cần thay bằng chi phí nhân sự thực tế và chi phí cơ hội.
Nếu kỹ sư phải bỏ công việc sản phẩm để trực GPU, thời gian đó vẫn có giá. Ngược lại, doanh nghiệp đã có đội platform có thể chỉ phát sinh một phần nhân công tăng thêm. Không cộng toàn bộ lương đội hạ tầng cho một model, nhưng cũng không ghi nhân công bằng không vì “người nhà làm”.
Các dự báo thị trường về dự án agentic bị hủy là lời nhắc quản trị, không phải hệ số để cộng vào hóa đơn GPU. Với quyết định đầu tư cụ thể, bằng chứng quan trọng hơn là lưu lượng, SLA, chi phí và giá trị của chính workflow. Khung TCO 36 tháng khi chọn AI mã nguồn mở hay AI cloud bổ sung góc nhìn hợp đồng và vòng đời hạ tầng.
Trả lời nhanh: SME nên tự host khi tải nền đo được vượt điểm hòa vốn TCO, benchmark đáp ứng chất lượng và độ trễ, đồng thời có người chịu trách nhiệm vận hành. Nếu thiếu một điều kiện, hãy giữ API hoặc thử hybrid; dữ liệu bắt buộc ở nội bộ cần phương án riêng.
Không có ngưỡng utilization phổ quát như 50% hay 70% áp dụng cho mọi doanh nghiệp. Ngưỡng phụ thuộc GPU, giá API, tỷ lệ input/output và nhân công. Sau khi tính hòa vốn, cần thêm biên an toàn cho biến động nhu cầu; đừng ký hợp đồng dài hạn nếu phương án chỉ thắng trong kịch bản lạc quan nhất.
Yêu cầu dữ liệu không rời mạng có thể loại API công cộng dù đắt hơn. Nhưng GPU thuê ngoài cũng không tự động đáp ứng yêu cầu “nội bộ”: phải xét vùng dữ liệu, quyền quản trị, mạng và hợp đồng. Tương tự, nhu cầu fine-tuning không tự động buộc doanh nghiệp sở hữu GPU thường trực.
GPU là một hợp đồng công suất. Chỉ mua phần công suất bạn có kế hoạch sử dụng, có cách đo hiệu quả và có người chịu trách nhiệm khi nó ngừng hoạt động.
Kết luận thực dụng: API là lựa chọn hợp lý khi nhu cầu chưa rõ; self-host phù hợp với tải nền đủ lớn; hybrid hữu ích khi tải biến động và chính sách cho phép chuyển tiếp. Việc đầu tiên không phải đặt GPU, mà là dựng bảng theo dõi đủ tốt để biết một tháng doanh nghiệp thực sự cần bao nhiêu công suất.
Dùng AI Agent khi quy trình cần lựa chọn công cụ hoặc phối hợp nhiều bước, không chỉ trả lời câu hỏi. Agent làm tải khó dự báo hơn vì số lượt gọi và retry thay đổi. Hãy đo toàn bộ workflow trước khi định cỡ GPU; nhiều công việc xác định sẵn phù hợp automation thông thường hơn agent tự quyết.
Không nên dùng riêng chỉ số đó. Cần đối chiếu với token hữu ích, tác vụ đạt chuẩn và độ trễ. GPU bận xử lý yêu cầu lỗi vẫn có thể hiện utilization cao. Mẫu số kinh tế nên là sản lượng hoàn thành dưới SLA, còn utilization phần cứng dùng để chẩn đoán nút thắt.
Có thể tốt hơn cho batch có lịch, nếu thời gian khởi động, tải model và khả năng cấp lại GPU chấp nhận được. Với ứng dụng cần phản hồi liên tục, khởi động lạnh có thể vi phạm SLA. Hãy tính cả thời gian GPU được cấp nhưng chưa sẵn sàng phục vụ vào chi phí.
Nên cân nhắc nếu chính sách dữ liệu cho phép và gián đoạn có chi phí cao. Tuy nhiên, fallback cần giới hạn ngân sách, kiểm thử chất lượng và kiểm soát hành động trùng. Nếu dữ liệu không được gửi ra ngoài, phương án dự phòng phải là hạ tầng được phê duyệt hoặc chế độ giảm chức năng, không phải API công cộng mặc định.
Tác giả: Cường Nguyễn — Founder AI Ops Solutions | Verified n8n Creator. Kết nối: Facebook · LinkedIn · YouTube · TikTok
Bài viết là góc nhìn cá nhân của tác giả, mang tính tham khảo — không phải tin tức báo chí.
Đừng bỏ lỡ bài viết tiếp theo. Đăng ký để nhận trong inbox.

Tác giả
Tôi là Cường Nguyễn - Founder của AI Ops Solutions.
Tôi từng là Logistics Operations Manager và đồng sáng lập thương hiệu CATCA - #1 Shopee ngành Pet Care.