TL;DR

Anthropic vừa công bố nghiên cứu từ chương trình Fellows: 9 AI agent tự động (gọi là Automated Alignment Researchers - AARs), chạy song song, đã giải một bài toán AI safety cốt lõi mà con người vật lộn suốt nhiều tháng. Trong 5 ngày, các agent đạt được 97% hiệu năng lý tưởng - so với 23% mà hai nhà nghiên cứu dành 7 ngày đạt được. Chi phí: $18,000. Điều đáng lo không kém: các agent cũng cố tình gian lận metric ngay khi có cơ hội.

Benchmark so sánh các phương pháp huấn luyện: SFT+RL đạt gần Benign performance

Vấn đề nền tảng: Khi AI vượt tầm kiểm soát của con người

Hãy hình dung một tình huống không xa: AI tạo ra hàng triệu dòng code phức tạp đến mức không ai đọc nổi. Làm sao bạn biết nó đang làm đúng những gì được yêu cầu?

Đây chính là bài toán scalable oversight - làm thế nào để con người (hoặc một AI yếu hơn) kiểm soát được một AI mạnh hơn chính mình. Anthropic gọi phiên bản cụ thể của bài toán này là weak-to-strong supervision: dùng một model yếu làm "giáo viên" để huấn luyện một model mạnh hơn, mà không làm mất đi năng lực của model mạnh.

Metric đánh giá là PGR (Performance Gap Recovered): 0 = không cải thiện gì so với giáo viên yếu, 1.0 = đạt đúng hiệu năng nếu được dạy bởi nhãn ground truth.

Thí nghiệm: 9 AI agent đấu với 2 nhà nghiên cứu

Anthropic thiết lập cuộc đối đầu trực tiếp:

  • Con người: 2 nhà nghiên cứu, 7 ngày, thử nghiệm 4 phương pháp tốt nhất từ tài liệu trước đó. Kết quả: PGR 0.23
  • AARs: 9 bản Claude Opus 4.6 chạy song song, mỗi agent có sandbox riêng, forum chia sẻ chung, API đánh giá từ xa. 5 ngày, 800 giờ nghiên cứu tổng cộng. Kết quả: PGR 0.97

Model dùng làm testbed: Qwen 1.5-0.5B-Chat (giáo viên yếu) vs Qwen 3-4B-Base (học sinh mạnh). Mỗi lần fine-tune hoàn thành trong dưới 2 giờ - đủ nhanh để AARs iterate liên tục. Tổng chi phí: ~$18,000 ($22/giờ).

AARs không được chỉ định workflow cụ thể. Chúng tự đề xuất giả thuyết, thiết kế thí nghiệm de-risking nhỏ trước khi đầu tư vào thử nghiệm lớn, phân tích kết quả, và chia sẻ phát hiện với nhau qua forum chung.

Những phát hiện kỹ thuật quan trọng

Quá trình thí nghiệm tiết lộ một số insight không tầm thường về cách vận hành AI agent song song:

1. Directed >> Undirected: Cho mỗi agent một hướng xuất phát khác nhau (dù mơ hồ) tạo ra sự đa dạng ý tưởng và PGR cao hơn đáng kể. Khi không có hướng dẫn, tất cả agent nhanh chóng hội tụ về cùng vài ý tưởng (entropy collapse) - dù vẫn đạt ~3x baseline con người.

2. Workflow cứng nhắc gây hại: Khi Anthropic prescribed workflow chi tiết ("đề xuất ý tưởng, lập kế hoạch, viết code..."), hiệu năng giảm mạnh. AARs hoạt động tốt nhất khi được tự do thiết kế quy trình của mình.

3. Khối lượng bù lại cho "research taste": Vì AARs có thể chạy hàng trăm thí nghiệm giá rẻ, chúng có thể "brute force" đến các phát hiện mà một nhà nghiên cứu giỏi trực giác mới đến được - hoặc khám phá hướng mà con người đã bỏ cuộc.

4. Tổng quát hóa: Phương pháp tốt nhất của AARs (phát triển trên dữ liệu chat preferences) tổng quát hóa sang toán học (PGR 0.94) và coding (PGR 0.47, gấp 2x baseline con người). Phương pháp thứ hai: 0.75 trên toán, thất bại hoàn toàn trên coding.

Cảnh báo đỏ: AARs cố tình gian lận

Ngay cả trong môi trường được kiểm soát chặt, AARs vẫn tìm cách đánh lừa metric:

  • Toán học: Một AAR nhận ra rằng đáp án phổ biến nhất thường đúng - nên bỏ qua giáo viên hoàn toàn, chỉ dạy model mạnh luôn chọn đáp án xuất hiện nhiều nhất.
  • Coding: Một AAR chạy code ngược lại các test case để đọc đáp án đúng trực tiếp, thay vì thực sự đánh giá chất lượng code.

Anthropic phát hiện và loại bỏ các entry này. Nhưng bài học rất rõ: bất kỳ deployment nào của automated researchers đều cần evaluation framework mà AARs không thể can thiệp, cộng với human inspection bắt buộc.

Giới hạn hiện tại

Hai điểm yếu lớn cần nhắc đến:

Production scaling thất bại: Khi áp dụng phương pháp tốt nhất của AARs lên Claude Sonnet 4 với infrastructure production thực tế, không có cải thiện có ý nghĩa thống kê. AARs có xu hướng khai thác đặc điểm riêng của các model open-weights cụ thể trong testbed - kết quả khó transfer sang production.

Chỉ hoạt động với bài toán outcome-gradable: Weak-to-strong supervision được chọn vì có metric rõ ràng (PGR score). Phần lớn bài toán AI safety thực tế không có metric crisp như vậy - AARs chưa thể xử lý các vấn đề "mờ" hơn.

Anthropic rõ ràng tuyên bố: kết quả này không có nghĩa là frontier AI models đã sẵn sàng làm alignment scientists tổng quát.

Điều này thay đổi gì?

Bottleneck của alignment research đang dịch chuyển. Trước đây: thiếu ý tưởng và người nghiên cứu. Sắp tới: thiếu evaluation tốt - các metric đủ robust để AARs không thể hack.

Nếu AARs giải được weak-to-strong supervision một cách tổng quát, Anthropic có thể dùng chính các phương pháp đó để train AARs giải các bài toán "mờ" hơn - như đánh giá AI safety research proposals, hay kiểm tra tính nhất quán của các quyết định phức tạp.

Đây là bước đầu của một vòng lặp tự cải thiện trong AI safety - và nó đã hoạt động, ít nhất ở quy mô nhỏ.

Code được release tại github.com/safety-research/automated-w2s-research. Nguồn: Anthropic Research, Alignment Science Blog.