この arXiv プレプリントは、ソフトウェアエンジニアリングに対するエージェントベースのアプローチに 問いを投げかけ、あえて単純なシステムでそれに答える。背景にある認識は、大規模言語モデルの最近の 進歩がソフトウェア開発タスク（コード合成、プログラム修復、テスト生成）の自動化を大きく前進させ、 それ以来、研究者や業界の実務家が、ツールを使い、コマンドを実行し、環境からのフィードバックを 観察し、今後の行動を計画する能力を備えた、エンドツーエンドのソフトウェア開発タスクを遂行する さまざまな自律型 LLM エージェントを開発してきたというものである。これに対して著者らは、そうした エージェントベースのアプローチの複雑さを現在の LLM の限られた能力と並べ、率直に問う。本当に 複雑な自律型ソフトウェアエージェントを用いる必要があるのだろうか、と。
この問いに答えようとして、著者らは Agentless を構築する。彼らはこれを、 ソフトウェア開発の問題を自動的に解決するためのエージェントレスなアプローチと説明している。 エージェントベースのアプローチが冗長で複雑なセットアップを持つのに対し、Agentless は位置特定、 修復、パッチ検証という単純な 3 フェーズのプロセスを採用し、しかも LLM に今後の行動を決めさせたり 複雑なツールを操作させたりすることなくそれを行う。
著者らが報告する主要な結果は SWE-bench Lite でのものであり、単純な Agentless が、既存のすべての オープンソースのソフトウェアエージェントと比較して、最高の性能（32.00%、96 件の正しい修正）と 低いコスト（0.70 ドル）の両方を達成したと述べ、これを驚くべき結果として提示している。2 つめの 貢献は、システムではなくベンチマークを検査したことから生じる。著者らは SWE-bench Lite の問題を 手作業で分類し、正解パッチがそのまま示されている問題や、イシューの記述が不十分または誤解を招く 問題を見つけた。そしてそれを根拠に、より厳密な評価と比較を行うため、そうした問題のあるイシューを 除外して SWE-bench Lite-S を構築した。
著者らはこの研究を、自律的なソフトウェア開発において、単純で解釈可能な手法が持つ、現在見過ごされて いる可能性を浮き彫りにするものと位置づけ、Agentless が自律型ソフトウェアエージェントのベースライン、 出発点、そして視野をリセットする一助となることへの期待を述べている。
このプレプリントはソフトウェアエンジニアリング (cs.SE) に分類され、人工知能 (cs.AI)、計算と言語 (cs.CL)、機械学習 (cs.LG) にクロスリストされている。2024 年 7 月 1 日に最初に投稿され、2024 年 10 月 29 日にバージョン 2 として改訂されており、arXiv が発行した DOI 10.48550/arXiv.2407.01489 を 持つ。
要点
- 論文の動機となる問いは、現在の LLM の能力が限られており、エージェントベースのセットアップがそれに応じて複雑であることを踏まえると、複雑な自律型ソフトウェアエージェントは実際に必要なのか、というものである。
- 位置特定、修復、パッチ検証の 3 フェーズからなるプロセスとして構築されたエージェントレスなアプローチである Agentless を導入する。そこでは LLM が今後の行動を決めることも、複雑なツールを操作することもない。
- SWE-bench Lite において著者らは、Agentless が既存のすべてのオープンソースのソフトウェアエージェントの中で最高の性能である 32.00%（96 件の正しい修正）を、0.70 ドルのコストで達成したと報告している。
- 著者らによる SWE-bench Lite の問題の手作業での分類により、正解パッチがそのまま示されているイシューや、記述が不十分または誤解を招くイシューが見つかった。
- それを根拠に著者らは、問題のあるイシューを除外した SWE-bench Lite-S を構築し、より厳密な評価と比較の基盤として提示している。
- 著者らは自らの目的を、エージェントを否定することではなく、自律型ソフトウェアエージェントのベースライン、出発点、視野をリセットすることだと述べている。
補足
論文の議論は構造上、比較に基づいている。その主張は、3 フェーズのプロセスが単独で優れているという ことではなく、1 つのベンチマーク上で、明示されたコストのもとで、比較対象となったエージェント ベースのシステムを上回るということである。貢献の 2 つの部分はどちらもこの比較に留保をつける。 SWE-bench Lite の問題の一部に正解パッチがそのまま示されていたり記述が誤解を招くものだったり するという著者ら自身の発見は、主要な数値の測定に使われた計測器についての言明であり、だからこそ フィルタリングされた SWE-bench Lite-S がそれと並べて提示されているのである。