この arXiv プレプリントは SWE-Agent を紹介し、それがなぜ機能するのかに ついて一つの主張を展開する。出発点となる観察は、言語モデルエージェントがデジタル環境における 複雑なタスクの自動化にますます使われるようになっているというものである。そこで論文は、こうした エージェントを新しい種類のエンドユーザーとして扱うことを提案する。すなわち、独自のニーズと能力を 持ち、自分が使うソフトウェアに対して特別に作られたインターフェースの恩恵を受けるユーザーである。 これは、ソフトウェアエンジニアリングのような複雑な作業を行う人間が、統合開発環境のような強力な アプリケーションの恩恵を受けるのと同じである。
この前提から、論文はインターフェース設計が言語モデルエージェントの性能にどう影響するかを調べ、 その調査の成果として SWE-agent を紹介する。SWE-agent は、LM エージェントがコンピュータを自律的に 使ってソフトウェアエンジニアリングタスクを解決するのを支援するシステムである。論文が特に取り上げる 構成要素は、SWE-agent 独自の エージェント・コンピュータ・インターフェース（ACI）であり、著者らは これによって、コードファイルを作成・編集し、リポジトリ全体をナビゲートし、テストやその他の プログラムを実行するエージェントの能力が大幅に高まると述べている。
著者らは SWE-agent を SWE-Bench と HumanEvalFix で評価し、両方で最先端の性能を 報告している。pass@1 はそれぞれ 12.5% と 87.7% であり、著者らはこれを、非対話型の言語モデルで 達成されていたそれまでの最先端を大きく上回るものと説明している。論文は最後に、ACI の設計が エージェントの振る舞いと性能にどのように影響しうるかについての知見を示している。
このプレプリントはソフトウェアエンジニアリング (cs.SE) に分類され、人工知能 (cs.AI)、計算と言語 (cs.CL)、ヒューマンコンピュータインタラクション (cs.HC)、機械学習 (cs.LG) にもクロスリストされて いる。2024 年 5 月 6 日に最初に投稿され、2024 年 11 月 11 日にバージョン 3 として最後に改訂されて おり、arXiv が発行した DOI 10.48550/arXiv.2405.15793 が付与されている。コード、データ、デモは https://swe-agent.com で公開されているとされる。
要点
- 論文の枠組みとなる主張は、LM エージェントが独自のニーズと能力を持つ新しい種類のエンドユーザーであり、したがって人間向けに作られたインターフェースではなく、エージェントのために特別に作られたインターフェースの恩恵を受けるはずだ、というものである。
- LM エージェントがコンピュータを自律的に使ってソフトウェアエンジニアリングタスクを解決するのを支援するシステム SWE-agent を紹介している。
- 名指しされている仕組みは独自のエージェント・コンピュータ・インターフェース（ACI）であり、著者らはこれによって、コードファイルを作成・編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行するエージェントの能力が大幅に高まると述べている。
- 報告されている結果は SWE-bench で pass@1 12.5%、HumanEvalFix で 87.7% であり、両方で最先端であり、非対話型の LM で達成されていたものを大きく上回ると説明されている。これらは論文のこのバージョンで測定された数値であり、いずれかのベンチマークについての恒久的な主張ではない。
- 論文が述べる副次的な貢献は知見そのものである。すなわち、ACI の設計がエージェントの振る舞いと性能にどう影響するかであり、これは単なる実装の詳細としてではなく、一つの発見として提示されている。
補足
論文の貢献は、意図的にシステムと設計上の主張の二つに分けられており、タイトルが担っているのは 後者である。つまり、エージェント単独ではなく、インターフェースこそがエンジニアリングを可能にする という主張である。評価は SWE-bench と HumanEvalFix の二つのベンチマークに依拠しているため、 報告された向上はこの二つが測定する範囲に限定される。このプレプリントは 2024 年 5 月から 11 月に かけて 3 つのバージョンを経ている。