本論文は、AI エージェント型プログラミングに関する系統的文献レビューである。AI エージェント型プログラミングとは、大規模言語モデルをベースとするコーディングエージェントが自律的に計画・実行を行い、コンパイラ、デバッガ、バージョン管理システムなどのツールと相互作用する、新たなプログラミングパラダイムである。著者らは系統的文献レビューの方法論に従い、Google Scholar、ACM Digital Library、IEEE Xplore、SpringerLink、arXiv.org に加えて、トップレベルの会議(FSE、ICSE、ASE、ICML、NeurIPS、AAAI)の論文集を検索した。検索語は、エージェント、プログラミング、AI/LLM の 3 つの検索語クラスターをブール演算子で組み合わせたものである。
データベース検索で 7,700 本の論文が得られ、タイトルと要旨によるスクリーニングを経て 395 本が全文レビューの対象に選ばれ、141 本がすべての採択基準を満たした。さらに後方・前方の引用追跡を行い、最終的に 152 本の論文からなるコーパスが構築された。採択される研究は、自律的または半自律的な振る舞いを持つソフトウェア開発向け AI システムに焦点を当て、計画、ツール使用、適応的な意思決定などのエージェント的な振る舞いを示し、新しい手法、アーキテクチャ、評価のいずれかを提示するものでなければならなかった。従来型のコード補完のみを扱う研究や、プログラミング以外の領域を扱う研究は除外された。152 本の学術文献(2022〜2025 年)のうち、2022 年のものが 5%、2023 年が 22%、2024 年が 53%、2025 年が 20% であったと論文は報告している。
このコーパスをもとに、本論文は AI エージェント型プログラミングシステムの分類体系を振る舞いの次元とシステムのカテゴリに沿って提案し、エージェント的な振る舞いを可能にする手法とツールを概観し、エージェント型プログラミングを関連する自動化パラダイムと比較し、ベンチマークと評価の実践を調査し、未解決の課題と今後の研究の方向性を論じている。
主なポイント
- このサーベイは、AI エージェント型プログラミングを、従来のコード生成とは 4 つの性質によって区別されるパラダイムと定義している。自律性(継続的な人間の監督なしに行動すること)、対話性(実行中に外部ツールと関わること)、反復的改善(中間的なフィードバックから出力を改善すること)、目標指向性(単発のプロンプトに応答するのではなく高レベルの目的を追求すること)である。
- エージェントの振る舞いの次元として、反応性と能動性、シングルターンとマルチターンの実行、ツール拡張型とスタンドアロン型の動作、静的な戦略と適応的な戦略修正からなる分類体系を提案している。また、エージェントシステムのカテゴリとして、対話型コードアシスタント、自律的なタスク指向エージェント、計画中心のエージェント、マルチエージェント/協調システムを挙げている。
- AI エージェント型プログラミングを、順に論じる 6 つの関連パラダイム ── プログラム合成、コード補完ツール、DevOps の自動化、自動機械学習(AutoML)、マルチエージェントおよび人間と AI の協働システム、ロボティクス/強化学習エージェント ── と比較している。そして、エージェント型プログラミングはソフトウェア開発ライフサイクル全体にわたる自律的、反復的、多段階的、ツール統合的な振る舞いによってそれぞれと区別され、また後者 2 つのような物理的またはシミュレーションされた環境ではなく、記号的で言語駆動の環境で動作すると論じている。
- SWE-Bench を事例として、HumanEval や SWE-Bench のようなよく使われるコーディングベンチマークは Python に大きく偏っており、実用的なエージェント型システムが扱うことを期待される大規模コードベース、マルチターン、ツール統合型のワークフローではなく、小規模で自己完結した問題や関数/モジュールレベルの問題を評価するのが一般的であると報告している。
- この分野の未解決の課題として 6 つを挙げている。評価とベンチマーク、マルチエージェントシステムのための通信プロトコル、特化した環境のためのドメイン特化モデル、エージェントの自律性が高まるにつれての安全性とプライバシー、人間中心のツールチェーン/言語とエージェントのニーズとのミスマッチ、そして長時間実行されるタスクのためのスケーラブルなメモリである。
注記
著者らは、AI エージェント型プログラミングはまだ初期段階にあると述べ、既存のシステムはアーキテクチャ、自律性、ツール統合、推論能力の点でまちまちであり、執筆時点でこの分野には標準的な分類体系、ベンチマークスイート、評価手法が欠けていると指摘している。本サーベイは主にソフトウェア開発向けの LLM 駆動のエージェント型システムに焦点を当てているが、その知見の多くは情報検索など他の領域の汎用 AI エージェントにも当てはまるとしている。