この論文は、最近のコーディングエージェントは自律的なソフトウェア開発に向けた急速な進歩を示唆しているものの、既存のベンチマークは完全なソフトウェアシステムを構築するのに必要な長期的（long-horizon）な能力を厳密には評価していないと主張する。論文によれば、これまでの評価の多くは局所的なコード生成、足場付きの補完、あるいは短期的な修復タスクに焦点を当てており、実際のリポジトリ構築が求める長い時間軸にわたって、エージェントが一貫した推論、計画、実行を維持できるかどうかは未解明のままだという。
これに対処するため、論文は NL2Repo-Bench を提示する。これはコーディングエージェントの長期的なリポジトリ生成能力を評価するために明示的に設計されたベンチマークである。エージェントには単一の自然言語の要件文書と空のワークスペースだけが与えられ、アーキテクチャを設計し、依存関係を管理し、複数モジュールにわたるロジックを実装し、完全にインストール可能な Python ライブラリを自律的に作り上げなければならない。最先端のオープンソースおよびクローズドソースのモデルを対象とした実験から、著者らは長期的なリポジトリ生成はほとんど未解決のままであると結論づけている。
要点
- このベンチマークのタスク設定では、エージェントは自然言語の要件文書と空のワークスペースだけを受け取り、完全にインストール可能な Python ライブラリを作り上げなければならない。
- 評価された中で最も強力なエージェントでさえ、平均テスト合格率は 40% 未満にとどまり、リポジトリ全体を正しく完成させることはまれである。
- 著者らの分析は、長期タスクにおける失敗モードとして、早すぎる終了、全体的な一貫性の喪失、脆いファイル間依存関係、数百に及ぶインタラクションステップにわたる不十分な計画を特定している。
- 著者らはこのベンチマークを、持続的なエージェント的能力を測る厳密で検証可能なテストベッドとして提示し、長期的な推論を次世代の自律型コーディングエージェントにとっての中心的なボトルネックと位置づけている。
補足
この論文は 2025 年 12 月 14 日に arXiv に初めて投稿され、2026 年 1 月 8 日に改訂された（バージョン 2）。著者は 49 名で、計算と言語 (cs.CL) に分類されている。