Bài viết

locdd.com dẫn lại một thay đổi đáng ngại cho phe AI mã mở: Artificial Analysis, đơn vị đánh giá độc lập, đã làm lại hệ thống test để phản ánh sát hơn cách người dùng vận hành AI. Điểm then chốt là nhiều bài test nay được giữ bí mật, khiến các hãng khó huấn luyện mô hình theo kiểu học thuộc đề để leo bảng.
Kết quả đảo chiều câu chuyện “model mở đã bắt kịp model frontier”. Với hệ thống cũ, model mở trọng số tốt nhất chỉ kém người dẫn đầu tổng bảng 3 điểm. Sang hệ thống mới, khoảng cách được ghi nhận là 12 điểm, bao gồm cả Kimi K3.1 Pro của Moonshot. Trong nhóm model mở trọng số đã công bố, model dẫn đầu đạt 32 điểm; Claude Opus 5.5 của Anthropic đứng đầu bảng tổng với 58 điểm. Đáng chú ý hơn, Claude Haiku 5.5, model nhỏ hơn của Anthropic, vẫn vượt toàn bộ model mở trọng số đã công bố.
Đây không phải tranh cãi về một leaderboard. Đây là cuộc kiểm toán lại lời hứa lớn nhất của thị trường AI giá rẻ: hiệu năng công bố có phản ánh năng lực thật trong workflow hay chỉ phản ánh năng lực làm bài thi?
Benchmark công khai luôn tạo động cơ tối ưu sai. Khi tập đề, định dạng chấm điểm hoặc dạng câu hỏi bị lộ rộng rãi, đội model có thể đưa dữ liệu tương tự vào huấn luyện, tinh chỉnh hành vi trả lời và đạt điểm cao mà không cải thiện tương ứng khả năng suy luận, viết code hay xử lý tác vụ lạ. Satya Nadella cùng nhiều chuyên gia gọi hiện tượng này là “benchmark cheating”.
Test bí mật không biến benchmark thành chân lý tuyệt đối, nhưng nó nâng giá của năng lực tổng quát. Sridhar Ramaswamy, CEO Snowflake và cựu lãnh đạo Google, đặt câu hỏi sắc bén trên X: khi benchmark chuyển sang riêng tư và chênh lệch model mở tăng từ 3 lên 12 điểm, liệu model mở thực sự đang đuổi kịp hay đề thi từng bị lộ? Nathan Lambert, đồng sáng lập Trillium Labs, còn thẳng thắn hơn: bảng xếp hạng cũ có thể đã tô hồng hiệu năng của model mở trọng số.
Cần đọc kỹ các con số thay vì trộn chúng thành một kết luận cơ học. Báo cáo nêu cả khoảng cách 12 điểm theo phép so sánh mới và mốc 32 so với 58 điểm ở các nhóm được mô tả. Điều chắc chắn không phải một phép trừ tự phát, mà là thứ hạng thay đổi mạnh khi đề thi không còn dễ tối ưu. Đó mới là tín hiệu cần hành động.

Với đội engineering, quyết định chọn LLM không thể dựa trên một leaderboard công khai hay giá token thấp. Một model mở có thể xuất sắc ở prompt quen thuộc nhưng suy giảm ở ticket nhiều bước, codebase nội bộ, tài liệu tiếng Việt lẫn tiếng Anh, dữ liệu nhiễu và yêu cầu tuân thủ format nghiêm ngặt. Đây là các tình huống quyết định chi phí sửa lỗi, thời gian review và niềm tin của người dùng.
Một chi tiết khác dập bớt cơn sốt nhu cầu: Dax Raad, đồng sáng lập OpenCode, ước tính gần như toàn bộ lưu lượng DeepSeek đi qua OpenRouter trong một ngày có thể được xử lý bởi một rack Nvidia, trị giá khoảng 6–7 triệu USD. Đây là ước tính cá nhân, không phải số liệu sử dụng chính thức; nhưng nó nhắc thị trường rằng độ ồn truyền thông không đồng nghĩa với mức tiêu thụ production đủ lớn.
Phe model mở cần ngừng bán câu chuyện “bắt kịp” bằng ảnh chụp leaderboard. Nếu model nhỏ hơn như Claude Haiku 5.5 đã vượt toàn bộ model mở trọng số được công bố trong test kín, khoảng cách giá rẻ chưa đủ để bù cho rủi ro chất lượng ở workflow có giá trị cao. Lợi thế của model mở vẫn có thật ở quyền kiểm soát hạ tầng, triển khai riêng và khả năng tùy biến; nhưng không ai được phép suy diễn các lợi thế đó thành năng lực frontier.
Tôi đánh giá việc Artificial Analysis chuyển sang đề kín là hướng đi đúng và cần thiết. Benchmark bị “luyện đề” không đo trí tuệ mô hình; nó đo năng lực khai thác một luật chơi đã biết. Khuyến nghị cụ thể cho engineers và founders: trước khi thay model, hãy dựng một private eval suite gồm các tác vụ lấy từ log thật, giữ ít nhất một phần dữ liệu hoàn toàn ngoài quy trình fine-tuning, rồi chấm tỷ lệ hoàn tất tác vụ và mức can thiệp của con người. Nếu model rẻ hơn không thắng ở hai chỉ số đó, nó không rẻ.
Rủi ro chiến lược nằm ở cả hai phía. Nếu model Trung Quốc giá rẻ thực sự thu hẹp năng lực thực chiến, OpenAI và Anthropic sẽ khó duy trì mức phí cao. Nhưng nếu khoảng cách chỉ tồn tại trên benchmark dễ đoán, doanh nghiệp chạy theo “hàng ngang cấp” sẽ trả giá bằng lỗi vận hành âm thầm.
Không. Nó chỉ cho thấy thứ hạng và khoảng cách có thể thay đổi đáng kể khi mô hình khó tối ưu theo đề thi. Model mở vẫn cần được đánh giá theo workload, yêu cầu bảo mật, chi phí hạ tầng và độ ổn định của từng doanh nghiệp.
Không nên quyết định theo tên hãng. Hãy chạy eval kín trên dữ liệu và tác vụ nội bộ. Nếu cần kiểm soát triển khai hoặc dữ liệu, model mở vẫn có lý do mạnh để tồn tại; nếu cần chất lượng tác vụ khó ngay lập tức, kết quả benchmark kín là tín hiệu phải kiểm chứng nghiêm túc.
Không nhất thiết. Trong ngữ cảnh này, thuật ngữ chỉ việc tối ưu mô hình quá mức cho benchmark, nhất là khi tập đề hoặc cấu trúc đề có thể bị suy đoán hay bị đưa vào dữ liệu huấn luyện. Hệ quả là điểm số đẹp hơn năng lực dùng thực tế.
Nguồn tham khảo: locdd.com
Tác giả: Cường Nguyễn — Founder AI Ops Solutions | Verified n8n Creator. Kết nối: Facebook · LinkedIn · YouTube · TikTok
Bài viết là góc nhìn cá nhân của tác giả, mang tính tham khảo — không phải tin tức báo chí.
Đừng bỏ lỡ bài viết tiếp theo. Đăng ký để nhận trong inbox.

Tác giả
Tôi là Cường Nguyễn - Founder của AI Ops Solutions.
Tôi từng là Logistics Operations Manager và đồng sáng lập thương hiệu CATCA - #1 Shopee ngành Pet Care.