Bài viết

Edge0 công bố open weights cho model 145B và phát hành engine suy luận streaming ngày 13/11/2026, hướng tới chạy mô hình trên một GPU NVIDIA hoặc Mac Apple Silicon mà không cần cloud API. Theo thông tin từ Edge0, hệ thống stream trọng số từ SSD và dự đoán trước tuyến expert để giảm lượng bộ nhớ hoạt động cần giữ trong GPU.
Edge0 phát hành hai biến thể 145B và 120B, được huấn luyện native ở mức 4-bit, với các định dạng Q3_K và NVFP4. Model 145B có khoảng 10B tham số hoạt động mỗi token, theo số liệu do công ty cung cấp. Thay vì nạp toàn bộ model vào VRAM, engine chuyển trọng số qua SSD theo nhu cầu.
Cơ chế per-layer prerouter dự đoán routing của expert ở lớp kế tiếp trước một token. Nhờ vậy, việc tải expert có thể bắt đầu trước khi model cần đến chúng. Đây là cách Edge0 xử lý giới hạn bộ nhớ; không có nghĩa mọi cấu hình GPU đều chạy được ở cùng tốc độ hay mức chất lượng.
Trên RTX 5090 D 24GB, Edge0 báo cáo tốc độ giải mã agent 121,2 token/giây và chat 99,7 token/giây với Q3_K. RTX 4090 24GB đạt 91,7 token/giây ở agent decode. Trên Apple M2 Ultra, kết quả được công bố là 57 token/giây với Q3_K và Metal.
Một phép thử khác ghi nhận 44,9 token/giây trong giới hạn 16 GiB VRAM và 20 GiB RAM trên RTX 5090 D. Đây là cấu hình của phép thử, không phải yêu cầu tối thiểu. Edge0 cũng tự báo cáo GPQA-Diamond 90,4 và HLE 35,4; hiện chưa có đánh giá độc lập để xác nhận các kết quả này.
Phần mềm hỗ trợ Linux hoặc Windows với GPU NVIDIA và CUDA 13, cùng macOS trên Apple Silicon qua Metal. iOS và Android chỉ hỗ trợ tier 35B. Model dựa trên Qwen3.8-Flash-Next; Tech Jacks lưu ý đây không phải bản Qwen công khai tiêu chuẩn. Preprint arXiv 2609.18063 mô tả phương pháp cho model 35B, không phải bản 145B.
Theo tôi, điểm đáng chú ý là Edge0 chuyển bài toán chạy model lớn từ dung lượng VRAM sang phối hợp SSD, RAM và dự đoán routing. Nhưng trước khi coi tốc độ hay điểm benchmark là đại diện cho trải nghiệm thực tế, nhà phát triển cần kiểm tra trên phần cứng và workload của chính mình.
Nguồn tham khảo: Edge0
Tác giả: Cường Nguyễn — Founder AI Ops Solutions | Verified n8n Creator. Kết nối: Facebook · LinkedIn · YouTube · TikTok
Bài viết là góc nhìn cá nhân của tác giả, mang tính tham khảo — không phải tin tức báo chí.
Đừng bỏ lỡ bài viết tiếp theo. Đăng ký để nhận trong inbox.

Tác giả
Tôi là Cường Nguyễn - Founder của AI Ops Solutions.
Tôi từng là Logistics Operations Manager và đồng sáng lập thương hiệu CATCA - #1 Shopee ngành Pet Care.