このサーベイは、LLM を活用したソフトウェアエンジニアリングにおいて、ベンチマークとソリューションが どのように相互に結びついているかについての包括的な理解が欠けていると著者らが説明する問題に取り組む。 サーベイはこの分野を、従来のルールベースのシステムから、複雑な問題を解決できる自律的なエージェント型 システムへと移行してきたものとして捉え、評価の方法論とソリューションのパラダイムの両方を扱う、この 領域で初めての全体的な分析として自らを位置づけている。
レビューは 150 本を超える最近の論文を対象とし、それらを 2 つの次元に沿って整理している。ソリューションは プロンプトベース、ファインチューニングベース、エージェントベースのパラダイムに分類され、ベンチマークは コード生成、翻訳、修復などのタスク別に整理されている。著者らはこの分野の軌跡を、単純な プロンプトエンジニアリング から、計画、推論、メモリの仕組み、ツールによる拡張を取り入れた エージェント型システムへの進化として説明している。
その進展を文脈の中に位置づけるため、サーベイはタスクの仕様から成果物に至るワークフローを示す統一的な パイプラインを提示し、異なるソリューションのパラダイムがさまざまなレベルの複雑さにどう対処するかを 詳述している。著者らは、レビューした論文と関連論文を継続的に更新する GitHub リポジトリを https://github.com/lisaGuojl/LLM-Agent-SE-Survey で管理している。
要点
- LLM を活用したソフトウェアエンジニアリングに関する 150 本を超える最近の論文をレビューし、ソリューション （プロンプトベース、ファインチューニングベース、エージェントベース）とベンチマーク（コード生成、翻訳、 修復などのタスク）という 2 次元の分類法を提案している
- 50 を超えるベンチマークを、それに対応するソリューション戦略と結びつけている。著者らはこれを、特定の 側面に狭く焦点を当ててきた先行サーベイと比べた際の、際立った貢献として示している
- この分野の進化を、プロンプトエンジニアリングから、計画、推論、メモリの仕組み、ツールによる拡張を加えた エージェント型システムへと至るものとして特徴づけている
- タスクの仕様から成果物までの統一的なパイプラインを提示し、ソリューションのパラダイムを複雑さのレベルに 対応づけている
- 研究上のギャップを特定し、マルチエージェントの協調、自己進化するシステム、形式検証の統合などの今後の 方向性を提案している
注記
この論文は一次研究ではなくサーベイであり、その主張はレビューした文献の全体像についてのものであって、 自ら測定した成果についてのものではない。先行サーベイに対して述べられている位置づけは、ベンチマークと ソリューションの対応づけである。著者らの説明によれば、先行サーベイは評価とソリューションの設計を 別々に扱っている。
ここで要約しているのは v3（2025 年 10 月 23 日）であり、最初のバージョンは 2025 年 10 月 10 日に投稿された。