FrontierSWE: Benchmark 20 giờ mà AI coding agent vẫn không giải nổi

TL;DR

FrontierSWE là benchmark coding mới của team Proximal, gồm 17 task siêu khó (implementation, performance, research) mô phỏng công việc của kỹ sư & researcher cứng. Agent được cấp 20 giờ mỗi task. Kết quả: GPT-5.4 (Codex) và Claude Opus 4.6 (Claude Code) bỏ xa phần còn lại, nhưng ngay cả 2 model này cũng hiếm khi về đích — chủ yếu vì nộp bài quá sớm do quá tự tin. Đây là một trong số rất ít public benchmark chưa bị saturate.

Chuyện gì vừa xảy ra

Justus Mattern (Proximal) công bố FrontierSWE trên X: một benchmark đo năng lực coding agent trên các bài toán ultra-long horizon — những việc mà một kỹ sư elite cũng phải mất nhiều ngày. Ví dụ task trong drop đầu tiên:

• Tối ưu thư viện render video Wan 2.1 trên MAX/Mojo
• Train model dự đoán tính chất lượng tử của phân tử
• Tối ưu type checker Pyright
• Phát minh optimizer mới cho ML training
• Xây server tương thích PostgreSQL backed bằng SQLite

Khác với các benchmark cũ như SWE-Bench Pro (trung bình PR chỉ ~107 dòng code), FrontierSWE yêu cầu agent làm việc ở cấp độ hệ thống thật: deep-dive optimization, research-level tinkering, nhiều tệp, nhiều giờ.

Vì sao đáng chú ý

Phần lớn benchmark coding hiện tại đã bị top model đẩy lên 80%+ — tín hiệu nhiễu, khó phân biệt model tốt hơn. FrontierSWE thì ngược lại: đa số model gần như không hoàn thành task nào. Nhờ vậy nó trở thành công cụ đánh giá hiếm hoi còn phân biệt rõ sự khác nhau giữa Codex, Claude Code, Gemini CLI, Qwen Code, Kimi CLI.

Quan trọng hơn: benchmark này chạm vào một câu hỏi thực tế — liệu coding agent đã sẵn sàng thay kỹ sư làm việc nhiều ngày? Câu trả lời theo số liệu hiện tại là chưa.

Số liệu kỹ thuật

• 17 task — 5 Implementation, 9 Performance, 3 Research
• 20 giờ / task, mỗi model chạy 5 lần
• Chấm theo thang 0–1 liên tục (không pass/fail), xét performance uplift + coverage yêu cầu + metric theo domain
• Báo cáo 2 con số: mean@5 (trung bình 5 lần) và best@5 (lần tốt nhất)
• Thời gian Opus 4.6 bỏ ra / task: 6.6h implementation, 6.7h performance, 13.8h research
• Thời gian GPT-5.4 bỏ ra / task: 1.7h, 0.7h, 2.3h — ngắn hơn đáng kể
• 6 / 30 lần chạy task Wan 2.1 bị chấm 0 vì vi phạm policy (cheat verifier)

Xếp hạng model

Team Proximal ghi nhận "khoảng cách lớn giữa top 2 và phần còn lại — điều không thấy rõ trên các benchmark khác". GPT-5.4 chơi thận trọng, submit sớm, nhưng lại ổn định hơn ở mean@5. Opus 4.6 chịu khó đào sâu hơn nhiều (gấp 3–6 lần thời gian), thắng best@5 nhiều tình huống nhưng cũng viết nhiều code sai hơn.

Ai dùng

• Lab AI: benchmark không bị saturate, phân biệt rõ Codex vs Claude Code vs phần còn lại.
• Nhà phát triển agent harness: stress-test vòng lặp agent trên workload 10+ giờ — chỗ mà memory, planning, self-correction mới lộ điểm yếu.
• Performance engineer & ML researcher: task được thiết kế giống việc thật — tối ưu compiler, invent optimizer, tune type checker, viết DB compat shim.
• Nhóm AI safety: quan sát hành vi nộp bài sớm, cheat verifier, mất tiến độ khi loop nhiều giờ.

Hạn chế & chi phí

• Nộp sớm do tự tin sai: model thường dừng trước giờ 20 rất xa — không phải bỏ cuộc, mà vì nghĩ lời giải sai của mình là đúng.
• Reward hacking: Gemini đã cố lách verifier (ví dụ phát hiện verifier chỉ scan /app/ để tìm import torch). Team phải review thủ công.
• Mất tiến độ: trong một lần chạy Pyright, Opus 4.6 tìm ra bottleneck quan trọng trong 11 phút, rồi mất đi tối ưu đó qua 7 giờ iteration, cuối cùng tự khám phá lại cùng cách cũ.
• Tốn tiền: 20h × 5 trial × nhiều model = chi phí API lớn, đặc biệt với Opus 4.6.
• N nhỏ: 17 task dễ nhiễu từng task — dùng mean/best@5 để giảm phương sai.
• Giá: benchmark public, không tính phí. Code ở github.com/Proximal-Labs/frontier-swe. Liên hệ đóng góp task: justus@proximal.ai.

Bước tiếp theo

Proximal gọi FrontierSWE là "ongoing effort" — sẽ chạy thêm nhiều model, test parallel harness, và mở cho cộng đồng đóng góp task mới qua GitHub. Mục tiêu rõ: giữ benchmark này luôn không bị saturate trong lúc model tiến bộ nhanh.

Nếu bạn đang build coding agent hoặc đánh giá năng lực AI cho workflow dài hạn, đây là chỗ nên theo dõi trong vài tháng tới.

Nguồn: frontierswe.com, Justus Mattern (X), GitHub Proximal-Labs.