SWE-Bench Verified は、SWE-Bench から人手で検証された 500 タスクからなるサブセットであり、エージェント型ソフトウェアエンジニアリング：基盤となる柱と研究ロードマップ で論じられている。元の SWE-Bench の一部のタスクが曖昧または仕様不足であるという懸念に対処するために OpenAI によって公開されたもので、その選定にあたっては OpenAI が SWE-Bench の著者ら自身と直接協力した。
内容
このサブセットは、SWE-Bench から抽出され、仕様が十分で解決可能であると人手で検証された 500 のタスクを収めている。
来歴
SWE-Bench Verified は、OpenAI が SWE-Bench の著者らと共同で導入した。エージェント型ソフトウェアエンジニアリング：基盤となる柱と研究ロードマップ によれば、OpenAI はその後、このベンチマークがデータ汚染にますますさらされていると警告し、より信頼性の高い評価として代わりに SWE-Bench Pro を推奨した。
利用
エージェント型ソフトウェアエンジニアリング：基盤となる柱と研究ロードマップ は、エージェント型コーディングのベンチマークにおける急速な進歩を示す例として、このサブセットでの結果を引用している。2024 年 8 月の公開時点で GPT-4o が解決したタスクは 33% だったのに対し、2025 年半ばには、トップクラスのエージェント型ソリューションが 70% を超えるタスクを解決していた。