本論文は、ソフトウェアエンジニアリング全体における大規模言語モデルから LLM ベースのエージェントへの 移行をサーベイする。明言された動機は、ソフトウェアエンジニアリングにおける LLM を探究する研究は数多い ものの、LLM と LLM ベースのエージェントを明確に区別しておらず、LLM による解決策をエージェントとして 認定する統一的な標準やベンチマークについては分野がまだ初期段階にある、というものである。著者らは ソフトウェアエンジニアリングを 6 つのトピック、すなわち要求工学とドキュメンテーション、コード生成と ソフトウェア開発、自律学習と意思決定、ソフトウェア設計と評価、ソフトウェアテスト生成、ソフトウェア セキュリティと保守に整理し、それぞれを 2 回、つまり素の LLM によるアプローチとエージェントベースの アプローチについて 1 回ずつ扱っている。
コーパスは DBLP と arXiv から、2023 年後半から 2024 年 12 月までの出版物を対象に、ブール演算子で 組み合わせたキーワードクラスタと、採用した論文の参考文献に対するスノーボーリングによって収集された。 本論文は採用基準（LLM を明示的に扱っていること、ソフトウェアエンジニアリングのタスクに関連している こと、十分な実験結果を示していること）と除外基準（7 ページ未満の論文、LLM と無関係な汎用 AI の研究、 ソフトウェアエンジニアリングの応用やワークフローを扱っていない研究、ブログ記事やホワイトペーパーなどの グレーリテラチャー、重複、英語以外で書かれた論文）を述べている。その結果が 139 本の論文である。 本論文は、複数のトピックを同時に扱う論文もあるため、トピック別の件数を合計すると 139 を超えると 注記している。これらのうち 40.3% は arXiv で、59.7% は確立された査読付きの場で発表されたと報告 しており、単一の発表の場としては NeurIPS（10.1%）と ICSE（6.5%）が最大である。
各トピックの章は同じ構成に従う。LLM のタスク、LLM ベースのエージェントのタスク、両者を対比する 分析、各パラダイムが使うベンチマークデータセット、各パラダイムが報告する評価指標である。サーベイの 最後には、実験で使われたモデル、トピック間の重なり、ベンチマークと指標、そして一連の課題と研究機会に ついてのトピック横断的な議論が置かれている。
要点
- このサーベイは、LLM アーキテクチャをエージェントとして扱うための 6 つの基準を提案する。LLM が 頭脳の役割を果たすこと、フレームワークが言語の理解と生成を超えた意思決定と計画の能力を持つこと、 モデルがいつどのツールを使うかを自律的に決定し、その結果を統合できること、複数の同質な結果の中から 最適な解決策を選択できること、文脈の理解を保ちながら複数回のやり取りを扱えること、そして自律的な 学習と適応性を持つことである。著者らは最初の 4 つを基本的なレベルのエージェンシーに不可欠なもの、 最後の 2 つをより高度だが厳密には必須ではないものとし、フレームワークがその大半を満たせば該当すると 述べている。これらの基準は主流の定義と 2024 年前半の文献を著者ら自身が統合したものであり、確立した コミュニティの標準ではない。サーベイは、必要とされる自律性のレベル、計画能力、ツール利用について 合意が存在しないことを明言している。
- 2 つのパラダイムは異なる場所で研究の関心を集めている。LLM の論文では要求工学とドキュメンテーション が最も多いトピックで、ソフトウェアセキュリティと保守がそれに僅差で続き、この 2 つで半数近くを 占める。エージェントの論文では自律学習と意思決定が 30% 近くで最も目立ち、コード生成と開発が それに続く一方、要求工学とテストケース生成は比較的少ないままである。
- 評価指標も同じ線に沿って分かれる。サーベイの上位 10 件の集計では、LLM の指標として最も一般的なのは 正解率（20.9%）、合格率（16.4%）、F1 スコア（11.9%）、正しさ（11.9%）、完全一致（6.0%）であり、 エージェントの指標として最も一般的なのは成功率（20.0%）、正解率（15.7%）、pass@1（12.9%）で、 エージェント固有の追加指標として効率（5.7%）、勝率（4.5%）、コスト（4.3%）、正しさの率（4.3%）が ある。著者らはこれを、LLM が静的な分類や生成の正しさで評価されるのに対し、エージェントはエンド ツーエンドの多段階的な成功とリソース消費で評価されていることの表れと読んでいる。
- ベンチマークの利用も分かれる。HumanEval と MBPP は両パラダイムで最も広く採用されている一方、 エージェントの研究は HotpotQA、FEVER、ALFWorld、WebShop のような、対話的または知識集約的な推論を 支えるベンチマークも追加で用いる。サーベイは、Defects4J が LLM によるコード修復の評価では定番で あり続けているもののエージェントの研究ではほとんど使われないことを観察し、その理由を、単一ステップの 修復に焦点を当てたこのベンチマークが、マルチターンでツールを拡張したシステムとうまく合わないことに 帰している。
- 139 本の論文全体で、サーベイは実験に使われた 82 種類の異なる大規模言語モデルを特定し、最も頻繁な ものとして GPT-3.5、GPT-4、LLaMA2、Codex を挙げる。エージェントの研究は LLM の研究よりも使う モデルの種類が狭いことを観察し、その理由を、エージェントには 1 つのタスクに特化したモデルではなく、 推論、計画、実行のための強いテキスト理解力を備えた汎用的な中核が必要であることに帰している。
- 6 つの未解決の課題を挙げる。標準化されたエージェントの定義と評価プロトコルの欠如、マルチエージェント システムにおけるワークフローの複雑さとエラーの伝播、ツール統合のボトルネックと外部依存の管理、 タスク横断的な汎化と知識転移の欠如、エージェントの振る舞いを評価するためのデータ不足とシミュレーション 環境の不十分さ、そして自律性の高まりに伴う認知的な透明性と信頼性である。
補足
このサーベイは、ソフトウェアエンジニアリングにおける LLM に関する先行レビューに対して、LLM とエージェント の区別を明示的な軸として加え、コーパスを狭く新しい期間に限定することで自らを位置づけている。その 論拠は、先行サーベイは広い範囲の出版年にまたがるため、文献が急速に増えたトピックのカバーが不均一に なるというものである。自ら述べる限界も同じ選択から生じている。コーパスは 2 つのデータベースから 集められ、打ち切りは 2024 年 12 月であり、トピック別の件数は複数のトピックを扱う論文を二重に数えている。
このサーベイの基準が対象としている概念については AI エージェント を、コード生成の章の大半が 扱うより狭いカテゴリについては AI コーディングエージェント を参照のこと。