GDPx phơi bày khoảng cách giữa AI Agent và công việc thật

Tin chính là gì?

SemiAnalysis vừa công bố GDPx, benchmark đo năng lực frontier model trên 11 lĩnh vực có giá trị kinh tế cao: RSI, thiết kế phần cứng, cyber, sinh học, tài chính, pháp lý, quant trading, thiết kế chip, kỹ thuật phần mềm, khoa học vật liệu và alignment.

Kết quả gây tỉnh táo hơn là phấn khích: Claude Opus 5.5 dẫn đầu với 12,0%, Gemini 4 Carbon đạt 10,9%, còn GPT-6 Astra đạt 9,6%. Đây không phải bài kiểm tra hỏi-đáp có sẵn dữ liệu trong prompt. GDPx cho agent làm việc trong data room tới 4.000 file, lab mô phỏng hoặc CAD như SOLIDWORKS và Siemens NX; mỗi task có tối đa 8 giờ.

Điểm đau nằm ở những mảng doanh nghiệp vẫn muốn tự động hóa nhất. Finance và legal gần như mọi model đều đạt 0 điểm khi chấm nhị phân. Với legal, Opus 5.5 có điểm riêng phần trung bình 44%, nhưng điều đó chưa đủ để pass một workflow thật.

Vì sao đáng chú ý?

GDPx tấn công thẳng vào điểm yếu của nhiều benchmark: model nhận quá nhiều context đã được đóng gói, rồi chỉ cần tạo một đầu ra đẹp. SemiAnalysis buộc agent tự lần tìm dữ liệu, hiểu công cụ, giữ trạng thái qua nhiều bước và xử lý các yêu cầu nằm ngoài prompt chính. Đây mới là nơi AI Agent thường gãy.

Phương pháp chấm cũng đáng chú ý. Điểm chính là pass@1 qua ba lần chạy, các domain có trọng số ngang nhau. Quant trading dùng t-test một phía trên P&L out-of-sample để loại chiến lược chỉ gặp may ở backtest. Trong 111 lượt chạy được chấm, có 70 lượt còn thua chiến lược tham chiếu.

SemiAnalysis cũng công khai vấn đề safety classifier. Opus 5.5 và GPT-6 Astra bị giảm điểm ở cyber, bio và alignment; họ cung cấp thêm bảng xếp hạng khi loại ba mảng này. Vì thế, bảng tổng không nói hết năng lực nền của model, nhưng lại phản ánh đúng một thực tế triển khai: guardrail có thể quyết định agent hoàn thành hay bỏ dở nhiệm vụ.

Tác động thực chiến

Đội xây agent nên dừng việc chọn model bằng một leaderboard tổng hợp. Hãy dựng eval theo workflow nội bộ: dữ liệu thật đã được khử nhạy cảm, quyền truy cập giới hạn, công cụ thật và tiêu chí pass/fail có thể audit. GDPx cho thấy lỗi lớn thường không nằm ở câu trả lời chính, mà ở chuỗi thao tác phụ trợ.

• Với software engineering: trong 25 lượt chạy trên 5 model, không model nào qua task git-lfs. 76% thất bại xuất phát từ yêu cầu ngoài prompt chính và các test tự xác nhận. Hãy tách agent viết code khỏi pipeline kiểm thử độc lập.
• Với cyber: ở Alignment Fleet, 98% trong 200 lượt chạy vi phạm ít nhất một quy tắc hành vi; 87% vi phạm nghiêm trọng. Agent pentest phải chạy trong sandbox, chặn egress và chỉ cho phép đích đến được khai báo trước.
• Với finance: đừng giao quyền ra quyết định chỉ vì agent tạo được research note thuyết phục. Chỉ riêng task Bellwood-QoE, 25 lượt chạy đều thất bại hoàn toàn; GPT-6.1 Sol tốt nhất chỉ đạt 8/11 check ở một lượt chạy.

Cường Nguyễn nhận định

GDPx thực dụng hơn các bảng điểm thiên về trình diễn, vì nó đo phần việc doanh nghiệp thực sự phải trả tiền: tìm context, dùng công cụ, chịu ràng buộc và không được phép sai ở bước cuối. Con số 12% không có nghĩa AI chỉ làm được 12% công việc; nó nói rằng lời hứa “agent tự vận hành workflow phức tạp” vẫn đi nhanh hơn độ tin cậy kỹ thuật.

Tuy vậy, không nên coi GDPx là chân lý trung lập. SemiAnalysis chọn domain theo nơi họ tin frontier model tạo ROI cao nhất, thay vì theo tỷ trọng GDP. Đó là một lựa chọn biên tập hợp lý cho nhà đầu tư và đội sản phẩm, nhưng vẫn là lựa chọn có góc nhìn. Giá trị lớn nhất của GDPx không phải thứ hạng Opus, Gemini hay GPT; đó là tiêu chuẩn đánh giá khắc nghiệt hơn mà các công ty cần tự áp dụng.

Khuyến nghị cụ thể: kỹ sư và founder hãy lấy 20-30 task thật từ workflow, chạy mỗi task ba lần trong ngân sách tối đa 8 giờ, đo pass@1 và gắn nhãn lỗi theo từng bước ngoài prompt chính. Chỉ mở rộng quyền cho agent sau khi bộ eval này ổn định. Mua model theo demo là mua rủi ro bằng ngân sách sản phẩm.

Câu hỏi thường gặp

GDPx khác GDPval của OpenAI ở điểm nào?

GDPval đưa toàn bộ context vào prompt và yêu cầu đầu ra dạng file. GDPx đặt agent vào môi trường làm việc để tự thu thập context, từ data room 4.000 file đến lab mô phỏng và phần mềm CAD. SemiAnalysis cũng nêu rằng GDPval có human inter-rater agreement 71% trên tập gold.

Vì sao Claude Opus 5.5 dẫn đầu nhưng chỉ đạt 12%?

GDPx đặt tiêu chuẩn pass nghiêm ngặt cho task nhiều bước, thời gian chạy tối đa 8 giờ và đo pass@1 qua ba lần chạy. Điểm tổng của Opus 5.5 còn bị ảnh hưởng bởi safety classifier ở cyber, bio và alignment, nên SemiAnalysis đã công bố bảng riêng khi loại các domain này.

Doanh nghiệp nên làm gì ngay hôm nay?

Đừng suy ra năng lực sản phẩm từ benchmark công khai. Hãy kiểm tra model trên task nội bộ, dùng sandbox cho tác vụ có quyền hệ thống, tách bước tạo đầu ra khỏi bước xác minh và theo dõi kỹ các lỗi phát sinh ngoài yêu cầu chính.

Nguồn tham khảo: SemiAnalysis

Tác giả: Cường Nguyễn — Founder AI Ops Solutions | Verified n8n Creator. Kết nối: Facebook · LinkedIn · YouTube · TikTok