Nếu theo dõi các mô hình AI dành cho lập trình viên, bạn sẽ thấy gần như mọi sản phẩm mới đều công bố một con số SWE-bench. Đây được xem là thước đo quan trọng nhất hiện nay để đánh giá khả năng của AI Coding Agent.
Tuy nhiên, điều thú vị là cùng một mô hình AI có thể đạt 50% trong một bảng đánh giá nhưng lại đạt 70% ở bảng khác, dù đều ghi là "SWE-bench".
Điều này không có nghĩa một trong hai kết quả là sai. Nguyên nhân nằm ở chỗ nhiều người vẫn đang hiểu nhầm SWE-bench là một chỉ số cố định, trong khi thực tế nó phụ thuộc vào rất nhiều yếu tố như cách triển khai AI Agent, môi trường kiểm thử hay phiên bản benchmark được sử dụng.
Vậy SWE-bench thực chất là gì và nên đọc các con số này như thế nào để không bị đánh lừa?
SWE-bench là gì?
SWE-bench là bộ benchmark được thiết kế để đánh giá khả năng giải quyết các bài toán lập trình trong môi trường gần với thực tế nhất.
Khác với những bài kiểm tra truyền thống chỉ yêu cầu AI viết một đoạn mã từ đề bài, SWE-bench sử dụng các issue có thật trên GitHub. Mỗi bài kiểm tra đều xuất phát từ một lỗi hoặc yêu cầu tính năng mà lập trình viên từng xử lý trong các dự án mã nguồn mở.
AI sẽ được cung cấp toàn bộ mã nguồn của dự án, nội dung issue cùng môi trường chạy tương ứng. Nhiệm vụ của nó là tìm nguyên nhân, sửa mã nguồn và tạo ra bản vá (patch) giúp giải quyết vấn đề. Sau đó, hệ thống sẽ chạy bộ kiểm thử của chính dự án để xác minh xem AI đã thực sự sửa đúng lỗi hay chưa.
Chính vì phải làm việc với mã nguồn có thật thay vì những ví dụ đơn giản, SWE-bench được xem là một trong những benchmark phản ánh sát nhất khả năng của AI Coding Agent hiện nay.
SWE-bench hoạt động như thế nào?
Mỗi bài đánh giá trong SWE-bench đều mô phỏng quy trình làm việc của một lập trình viên. AI được đưa vào một môi trường Docker chứa đúng phiên bản mã nguồn của dự án tại thời điểm issue được tạo.
Ngoài mô tả lỗi, AI không được cung cấp sẵn đoạn mã cần sửa hay bài kiểm thử bị lỗi. Nó phải tự đọc mã nguồn, xác định vị trí xảy ra vấn đề, tìm cách khắc phục rồi tạo ra bản vá phù hợp.
Sau khi AI hoàn thành, hệ thống sẽ áp dụng bản vá đó vào dự án và chạy toàn bộ bộ kiểm thử. Nếu các bài kiểm tra liên quan đều vượt qua mà không làm hỏng những chức năng khác, nhiệm vụ được xem là thành công.
Điểm số SWE-bench chính là tỷ lệ phần trăm số nhiệm vụ mà AI giải quyết thành công theo cách này.
Nhờ quy trình trên, SWE-bench không chỉ đánh giá khả năng sinh mã nguồn mà còn kiểm tra năng lực đọc hiểu dự án, phân tích vấn đề, lập kế hoạch và sửa lỗi trong môi trường thực tế.
Vì sao cùng một mô hình lại có nhiều điểm SWE-bench khác nhau?
Đây là điểm khiến nhiều người nhầm lẫn nhất. Trên thực tế, cái tên SWE-bench không đại diện cho một bài kiểm tra duy nhất mà bao gồm nhiều phiên bản khác nhau.
Được sử dụng phổ biến nhất hiện nay là SWE-bench Verified. Đây là tập hợp khoảng 500 bài kiểm tra đã được các chuyên gia rà soát để loại bỏ những trường hợp mơ hồ hoặc không thể đánh giá chính xác. Phần lớn các hãng AI đều sử dụng phiên bản này khi công bố kết quả benchmark.
Ngoài ra còn có SWE-bench Pro, phiên bản khó hơn rất nhiều với các nhiệm vụ kéo dài, liên quan đến nhiều tệp mã nguồn, nhiều ngôn ngữ lập trình và quy trình xử lý phức tạp hơn.
Chính vì độ khó tăng lên đáng kể nên những mô hình đạt trên 70% ở SWE-bench Verified thường chỉ đạt kết quả thấp hơn khá nhiều trên SWE-bench Pro.
Bên cạnh đó còn có SWE-bench Multilingual, mở rộng phạm vi đánh giá sang nhiều ngôn ngữ lập trình thay vì chủ yếu tập trung vào Python như bộ benchmark ban đầu.
Do mỗi phiên bản có mục tiêu khác nhau nên việc so sánh trực tiếp điểm số giữa chúng gần như không có nhiều ý nghĩa.
Điểm SWE-bench thực sự phản ánh điều gì?
Một sai lầm phổ biến là xem SWE-bench như thước đo duy nhất về khả năng lập trình của AI. Nhìn chung, benchmark này chỉ phản ánh khả năng giải quyết các issue GitHub trong điều kiện kiểm thử cụ thể.
Đây là tín hiệu rất hữu ích nhưng không thể đại diện cho toàn bộ năng lực của mô hình. Ví dụ, SWE-bench không cho biết AI có phù hợp với mã nguồn của doanh nghiệp bạn hay không, có tuân thủ quy ước lập trình của nhóm phát triển hay có viết ra những đoạn mã dễ bảo trì hay không.
Một bản vá có thể vượt qua toàn bộ bộ kiểm thử nhưng vẫn chưa chắc là giải pháp tối ưu về mặt kiến trúc phần mềm. Vì vậy, điểm SWE-bench nên được xem là chỉ báo về tiềm năng, chứ không phải lời khẳng định rằng mô hình đó sẽ hoạt động tốt với mọi dự án.
Điều quyết định điểm số không chỉ là mô hình AI
Một trong những điều ít được nhắc đến nhất về SWE-bench là mô hình AI chỉ là một phần của hệ thống . Kết quả benchmark còn phụ thuộc rất lớn vào Agent Harness (hay còn gọi là Scaffold) – lớp điều phối bao quanh mô hình.
Harness quyết định AI được sử dụng những công cụ nào, prompt được xây dựng ra sao, cách quản lý bộ nhớ, cách gọi công cụ, cách xử lý lỗi và quy trình thử lại khi gặp thất bại.
Nhiều nghiên cứu cho thấy chỉ riêng việc thay đổi Agent Harness cũng có thể khiến điểm SWE-bench chênh lệch từ 10 đến 20 điểm phần trăm, ngay cả khi sử dụng cùng một mô hình AI. Điều đó đồng nghĩa với việc một mô hình tầm trung nhưng được đặt trong hệ thống điều phối tốt vẫn có thể đạt kết quả cao hơn một mô hình mạnh hơn nhưng được triển khai kém hiệu quả.
Nói cách khác, benchmark không chỉ đánh giá mô hình mà đang đánh giá toàn bộ hệ thống AI Coding Agent.
Vì sao điểm benchmark của các nền tảng AI thường khác nhau?
Khi OpenAI, Anthropic hay các công ty AI khác công bố kết quả SWE-bench, họ thường sử dụng chính hệ thống Agent mà mình tối ưu. Đó là lý do cùng một mô hình nhưng kết quả do nhà phát triển công bố đôi khi cao hơn đáng kể so với các bảng xếp hạng độc lập.
Điều này không có nghĩa một trong hai bên công bố sai. Đơn giản là họ đang đo những cấu hình hệ thống khác nhau. Vì vậy, nếu muốn so sánh hai mô hình, điều quan trọng không phải là nhìn vào con số cuối cùng mà là xem chúng có được kiểm thử trong cùng một điều kiện hay không.
Việc đặt hai kết quả sử dụng các Agent Harness khác nhau lên cùng một bảng rồi so sánh trực tiếp thường không phản ánh chính xác năng lực thực tế của mô hình.
Có nên dựa hoàn toàn vào SWE-bench để chọn AI Coding Agent?
Câu trả lời là không.
SWE-bench vẫn là một trong những benchmark giá trị nhất hiện nay vì nó sử dụng các dự án GitHub thực tế thay vì những bài toán lập trình đơn giản.
Tuy nhiên, benchmark này chỉ nên được xem là bước tham khảo đầu tiên.
Nếu doanh nghiệp hoặc nhóm phát triển muốn lựa chọn AI Coding Agent, cách đánh giá đáng tin cậy nhất vẫn là thử nghiệm trực tiếp trên chính mã nguồn, quy trình làm việc và bộ công cụ đang sử dụng. Đó mới là môi trường phản ánh chính xác nhất khả năng của AI.
Tổng kết
SWE-bench là một trong những bộ benchmark quan trọng nhất dành cho AI Coding Agent vì mô phỏng khá sát công việc của lập trình viên trong các dự án thực tế. Thay vì chỉ yêu cầu AI sinh mã nguồn, benchmark này buộc mô hình phải đọc hiểu dự án, xác định nguyên nhân gây lỗi và tạo ra bản vá có thể vượt qua bộ kiểm thử của chính dự án đó.
Tuy nhiên, điểm số SWE-bench không phải là "thước đo tuyệt đối" về năng lực lập trình của AI. Kết quả còn phụ thuộc vào phiên bản benchmark, Agent Harness và cách triển khai hệ thống. Vì vậy, khi xem các bảng xếp hạng AI Coding, đừng chỉ nhìn vào con số cuối cùng mà hãy chú ý cả bối cảnh tạo ra con số đó.
Cuối cùng, benchmark chỉ phản ánh hiệu năng trong một môi trường chuẩn hóa. Muốn biết một AI Coding Agent có thực sự phù hợp với dự án của mình hay không, cách đáng tin cậy nhất vẫn là triển khai và đánh giá trực tiếp trên chính quy trình phát triển phần mềm mà bạn đang sử dụng.
