- PentestGPT — framework pentest tự động bằng LLM từ nhóm NTU Singapore — ra v1.0 cuối 2025 với 86.5% success rate trên XBOW benchmark, median cost $0.42 và 3.3 phút/target.
- Đã đoạt Distinguished Artifact tại USENIX Security 24 và gom 12.7k sao GitHub.
- AI chính thức bước vào offensive security.
TL;DR
PentestGPT là agentic framework mã nguồn mở (MIT) biến LLM thành pentester tự động: recon → vulnerability analysis → exploit → post-exploitation. Bản v1.0.0 ra 24/12/2025 đạt 86.5% success rate trên XBOW benchmark (90/104 targets), median cost chỉ $0.42 và 3.3 phút/target. Dự án đã thu về 12.7k sao GitHub, đoạt giải Distinguished Artifact tại USENIX Security 2024, và hỗ trợ Claude, OpenRouter, Ollama cùng các local LLM khác qua Docker.
Có gì mới
Khác với các trợ lý chat tư vấn bảo mật, PentestGPT vận hành end-to-end như một team offensive thực sự. Người dùng chỉ cần một lệnh make, agent tự lên kế hoạch tấn công, chọn tool, chạy command, đọc output và quay vòng cho đến khi root target hoặc capture flag.
v1.0.0 đánh dấu bước dịch chuyển khỏi dependency cứng vào OpenAI. Bản mới hỗ trợ native Anthropic Claude (qua API key hoặc OAuth), OpenRouter, và full local stack qua LM Studio, Ollama, text-generation-webui. OpenAI, Gemini, Deepseek vẫn được giữ ở chế độ legacy. Toàn bộ chạy trong container Docker đi kèm 20+ security tool pre-installed (nmap, gobuster, sqlmap, metasploit, v.v.), đảm bảo môi trường tái lập và cô lập.
Vì sao đáng chú ý
Pentest truyền thống tốn từ vài ngày tới vài tuần cho một target phức tạp. PentestGPT cho thấy LLM-backed automation có thể cover phần lớn OWASP Top 10 trong vài phút, với chi phí API dưới một ly cà phê. Với team bảo mật nhỏ hoặc bug bounty hunter solo, đây là đòn bẩy năng suất mà trước đây chỉ đội red team enterprise có được.
Quan trọng hơn, đây là lần đầu tiên một agentic pentest framework có benchmark peer-reviewed đàng hoàng tại hội nghị top như USENIX Security — không chỉ là demo trên Twitter.
Số liệu kỹ thuật
Kết quả v1.0.0 trên XBOW benchmark (104 thử thách CTF đa dạng):
| Chỉ số | Giá trị |
|---|---|
| Success rate tổng | 86.5% (90/104) |
| Level 1 (dễ) | 91.1% |
| Level 2 (trung) | 74.5% |
| Level 3 (khó) | 62.5% |
| Average cost / benchmark | $1.11 |
| Median cost / benchmark | $0.42 |
| Average time | 6.1 phút |
| Median time | 3.3 phút |
Kiến trúc gồm 3 module tương tác: Reasoning Module duy trì context dài hạn qua một cấu trúc gọi là Pentesting Task Tree (mô phỏng cách team red team lên kế hoạch phân nhánh); Generation Module sinh command chính xác cho từng tool; Parsing Module phân tích output tool rồi feedback về Reasoning.
So sánh với LLM thuần
Dữ liệu từ paper USENIX Security 24 (benchmark 13 targets, 182 sub-tasks, OWASP Top 10 + 18 CWE):
| Setup | Targets hoàn thành | Sub-task completion |
|---|---|---|
| GPT-3.5 bare | — | ~21% (baseline) |
| GPT-4 bare | 5/13 | 52.2% |
| PentestGPT + GPT-4 | 8/13 | 68.1% |
PentestGPT tăng 228.6% task completion so với GPT-3.5 và +34.3% so với GPT-4 thuần. Điều này xác nhận: framework agentic đóng vai trò quan trọng ngang ngửa với backbone model.
Use case thực tế
- HackTheBox active machines: giải 4/10 target, tổng chi phí API $131.50, rank top 1% trong cộng đồng 670k+ người chơi.
- picoMini CTF: đạt 1500/4200 điểm, xếp hạng 24/248 team — tương đương player trung cấp.
- Bug bounty triage: chạy parallel trên nhiều subdomain để lọc vuln khả thi trước khi người thật vào sâu.
- Red team training: junior analyst học bằng cách đọc reasoning log thay vì xem writeup khô.
- CI/CD security gate: chạy auto-pentest sau mỗi deploy staging, ship báo cáo lên Slack.
Hạn chế & chi phí
Paper thừa nhận ba điểm yếu vẫn còn: (1) khó interpret screenshot/UI khi vuln nằm trong hình, (2) yếu ở các exploit nhiều bước cần shellcode/ROP chain chính xác, (3) context drift khi phiên chạy quá dài — Pentesting Task Tree giảm nhưng chưa diệt hết.
Về chi phí: framework miễn phí (MIT), nhưng user gánh phí LLM API. Median $0.42/target với API thương mại, hoặc gần như $0 nếu tự host Ollama. Yêu cầu tối thiểu: Docker + một API key hoặc GPU local để chạy Llama/Qwen cỡ 70B.
Và như mọi offensive tool: chỉ dùng trên target bạn được phép pentest. Đây là kỷ luật cơ bản, không phải disclaimer để bỏ qua.
Sắp tới
Roadmap công bố trên GitHub gồm: routing đa model tự động chọn backbone rẻ/khỏe theo task, mở rộng CTF domain (hardware, mobile, cloud native), và cải thiện khả năng sinh low-level exploit. Với tốc độ ship của nhóm tác giả và việc các framework cùng hướng (PentAGI, Pentest-Swarm-AI) đang nổi lên, 2026 gần như chắc chắn là năm AI bước chính thức vào offensive security stack của SOC/red team.
Nguồn: PentestGPT GitHub, pentestgpt.com, USENIX Security 24 paper.
