SWE-EVO: benchmark mới cho coding agent khi phần mềm phải tiến hóa qua nhiều vòng

TL;DR

• SWE-EVO là benchmark cho coding agent trong bài toán software evolution dài hơi, không phải chỉ sửa một bug riêng lẻ.
• Paper dùng 7 project Python mã nguồn mở trưởng thành, tạo ra 48 release-sized tasks, trung bình 21 file bị chỉnh sửa mỗi task và 874 test mỗi instance.
• Trong bảng chính của bản v6, model mạnh nhất đạt 25% resolved rate trên SWE-EVO; cùng model đó có thể đạt tới 72.80% trên SWE-Bench Verified. Đây là khoảng cách rất lớn.
• Paper không chỉ báo cáo resolved rate, mà còn thêm Fix Rate để đo tiến bộ một phần trên task dài hơi.
• Với coding agent, đây là benchmark thực tế hơn vì nó buộc phải hiểu release notes, phối hợp nhiều file, và giữ test suite lớn xanh qua nhiều vòng thay đổi.

Benchmark snapshot

Bảng này là phần quan trọng nhất để hiểu tại sao SWE-EVO khác các benchmark sửa bug thông thường. Số liệu là từ Table 1 trong paper.

Scale chart

Nếu muốn một hình dung nhanh về độ lớn của SWE-EVO, đây là bản tóm tắt dạng chart từ Table 1 và Figure 4.

Issue length   Mean  2390.5 words   ████████████████████
Patch scope    Mean   20.9 files    ███████████████████
Fail-to-pass   Mean   81.4 tests    █████████████████████████████
Total tests    Mean  874.0 tests    ██████████████████████████████████████████████

Thông điệp: SWE-EVO không chỉ dài hơn một chút. Nó nặng hơn đồng thời ở spec length, patch scope, và test surface.

Main leaderboard

Đây là Table 2 của paper v6. Cột đầu là kết quả trên SWE-EVO với OpenHands, cột tiếp theo là SWE-EVO với SWE-agent, và cột cuối là SWE-Bench Verified để so sánh.

Hai điểm đáng chú ý nhất ở bảng này:

• Model mạnh nhất trên SWE-EVO chỉ đạt 25%, trong khi SWE-Bench Verified của một số model cùng họ cao hơn rất nhiều.
• Scaffold sensitivity có thật: cùng một model family, OpenHands và SWE-agent có thể lệch nhau đáng kể.

Resolved-rate chart

Đây là chart rút gọn từ cột Average Resolved trong Table 6. Nó giúp nhìn nhanh thứ tự mạnh/yếu tương đối của các model trên SWE-EVO.

gpt-5.4              25.00%  █████████████████████████
kimi-k2p5            23.96%  ████████████████████████
deepseek-v3p2        22.12%  ██████████████████████
glm-5                22.92%  ███████████████████████
gpt-5.2              20.84%  █████████████████████
gpt-5-08-07          19.79%  ████████████████████
deepseek-v3p1        13.55%  ██████████████
qwen3-coder-480b     14.58%  ███████████████
gpt-5-mini           10.42%  ██████████
gpt-5-nano            4.17%  ████

Release-note only vs PR/issue context

Paper còn kiểm tra setting khó hơn: chỉ đưa release note, không đưa PR/issue context. Kết quả cho thấy thêm context giúp ích thật, nhưng không đủ để giải quyết bản chất bài toán.

Fix Rate table

Fix Rate là điểm đáng giá nhất về mặt measurement. Nó giữ được tín hiệu tiến bộ một phần trên task dài, nơi resolved rate binary dễ che mất rất nhiều thông tin.

Điều các con số này nói lên

• SWE-EVO đo một lớp năng lực khác: không còn là sửa một issue riêng lẻ, mà là giữ cho một codebase tiến hóa đúng qua nhiều vòng thay đổi.
• Khoảng cách giữa resolved rate và fix rate cho thấy binary pass/fail không đủ để phản ánh tiến bộ thực sự trong task dài.
• Thêm PR/issue context có giúp, nhưng không cứu được bản chất khó của bài toán.
• Scaffold sensitivity đáng chú ý: cùng model, kết quả giữa OpenHands và SWE-agent có thể khác nhau đáng kể.

Kết

SWE-EVO đáng đọc vì nó dịch benchmark coding agent từ một bài toán cục bộ sang một bài toán dài hơi, gần production hơn. Nếu bạn đang build agent để chạy trên repo thật, phần cần chú ý nhất không phải chỉ là resolved rate cuối cùng, mà là toàn bộ bề mặt đánh giá: độ lớn của spec, số file bị đụng, test surface, khả năng giữ tiến bộ một phần, và độ nhạy với scaffold.

via arXiv 2512.18470 và arXiv HTML v6