このレビューは、純粋に学術的なサーベイでは答えられない問い、すなわちマルチエージェントによる コード生成について実務家のエビデンスは何を語っており、それは研究文献と一致しているのか、という 問いに答えようとするものである。手法はマルチボーカル文献レビュー(Multi-Vocal Literature Review、 MLR)であり、査読済みの研究と並んで、技術ブログ、オープンソースリポジトリ、業界レポートといった グレーリテラチャーを体系的に分析する。その根拠として著者らは、確立された MLR のガイダンスに 基づき、トピックの発展が速く産業実践の影響を強く受けている場合にはグレーリテラチャーを考慮に 入れるべきだという議論を挙げている。対象コーパスは 114 件の研究で、3 つのフェーズを経ている。 リサーチクエスチョンと検索文字列の定義、査読済み文献とグレーリテラチャーの検索の実施、そして データの抽出と分析である。

結果は 7 つのリサーチクエスチョンによって構成されている。それらはエビデンス基盤とその出版傾向を マッピングし、導入の背後にある動機を特定し、使用されている評価ベンチマークと指標を抽出し、 採用されている言語モデルを特定したうえで、報告された課題、それに対して提案された解決策、そして 文献が挙げる今後の方向を分析することで研究ギャップに取り組む。

要点

  • コーパスの内訳は査読済みが 64.91%、グレーリテラチャーが 35.09% である。114 件すべての研究の 所属で見ると、学術が 57.02%、産業が 35.09%、学術と産業の混合による共同研究が 7.89% であり、 著者らはこの比率を、セクター横断的な協力がいまだ限られていることを示すものと解釈している。
  • 著者らは時間的なパターンを、学術の注目が 2024 年に、産業の注目が 2025 年に到来したとまとめて いる。査読済みの研究の大半は学会で発表されており、グレーリテラチャーは主に産業主導で、 ほとんどがブログとして公開されている。
  • グレーリテラチャーの中では、選定された 40 件の研究のうち 17 件をブログが占めており、著者らは これを、エージェントベースのコード生成手法を文書化するうえで実務家や開発者が積極的な役割を 果たしていることの証拠と解釈している。その集合の中で最も多く使われている公開プラットフォームは arXiv である。
  • 114 件中 29 件(25.4%)がマルチエージェントシステムを使う理由を述べており、そこから 36 の理由が 得られた。テーマ分析によってそれらは 9 カテゴリにまとめられている。運用効率と実用的な スケーラビリティ、複雑なタスクの処理、性能向上、コンテキスト管理、外部ツールの統合、チームでの 協働、自律的な実行、適応性、そして将来のトレンドである。
  • 最も頻繁に報告されている動機は性能向上(12 件、10.5%)であり、次いで、より小さな協調した サブタスクへの分解による複雑なタスクの処理(9 件、7.9%)、運用効率とスケーラビリティ (7 件、6.1%)が続く。
  • 著者らは動機の分布を、マルチエージェントアーキテクチャが主に正確性、効率、ワークフロー調整の ための技術的メカニズムとして位置づけられていることを示すものと解釈している。一方で、適応性、 自律的な実行、長期的な将来志向の開発はあまり現れず、著者らはこれらの側面を中心的なものではなく いまだ発展途上のものと説明している。
  • 特定された 83 件の LLM 利用例のうち、57 件がクローズドソース、26 件がオープンソースである。 OpenAI の GPT シリーズが 43 件を占め、オープンソースモデルの中では Meta の Llama が 17 件で最も 多い。著者らは、プロプライエタリなプラットフォームへの依存がデータプライバシー、セキュリティ、 依存性についての懸念を生みうること、そしてオープンソースの代替は、報告されている性能水準に 及ばない場合でも、デプロイの制御、コスト効率、データプライバシーの向上をもたらすことを 指摘している。
  • 114 件中 52 件(45.61%)がコード生成能力の評価にベンチマークを用いており、その数は合計で 37 種類の異なるベンチマークにのぼる。
  • 最大の課題カテゴリは正確性と信頼性で、26 件(22.81%)が報告している。その内訳は多い順に、 ハルシネーション(10 件)、低い精度(7 件)、オーケストレーションの失敗(5 件)、高レベルの 計画の欠如(4 件)、エージェント間の依存(3 件)、コードの不整合(2 件)、レガシーコード(1 件) である。
  • オーケストレーションの失敗に対して、レビューは構造化されたスキーマベースの通信プロトコル (制約のない自然言語でのやり取りを、明確に定義された機械可読なメッセージ形式に置き換えるもの)に 加えて、動的な通信構造や、ファイル、サービス、プロセスに対する責任を明示的に割り当てることで 競合や終了しないやり取りを防ぐことを報告している。
  • セキュリティとプライバシーのリスクは 11 件(9.65%)が報告しており、プライバシーリスク(4 件)が 最も多く、次いでコードの脆弱性、コードへの攻撃、データ漏洩(各 3 件)が続く。最も多く報告されて いる緩和策は、隔離された実行環境、設定ファイルと生成コードにまたがる監視、そしてデータ損失防止 (DLP)、監査ログ、認証情報の管理といったデータ保護策である。
  • そのほかに挙げられている課題カテゴリは、計算資源とリソースの制約(コスト、保守のオーバーヘッド、 通信のオーバーヘッド)、コンテキストとメモリの制限(限られたコンテキストウィンドウ、短期記憶)、 ベンチマークの課題(現実世界での評価の不足、対象言語の限定、セキュリティリスク)、検証の課題 (非決定的な振る舞い、人間の介入の欠如、限られた自己反省、タスク検証の欠如)、そしてプロンプト 設計の課題(プロンプトへの感度、プロンプトへの依存、開発者によるプロンプトの解釈)である。
  • エージェントアーキテクチャの高度化と最適化が最大の今後の方向カテゴリであり(15 件、13.16%)、 スケーラビリティ、オーケストレーション、エッジへのデプロイ、並列処理、ファインチューニング、 実行時の安定性、強化学習の統合を含む。安全なエージェントと高度なベンチマークがそれぞれ 8 件 (7.02%)で続き、よりスマートなメモリ機構が 4 件(3.51%)である。
  • ベンチマークについて、レビューはより現実的で多次元的な設計を主張している。そこには、 マルチモーダルなベンチマークの構築、安全性・セキュリティ・信頼性の評価、そしてエージェント間の 協働能力の評価(協調の効率、コミュニケーションの有効性、タスク分解の質、人間の労力の削減)が 含まれる。

注記

この研究は Business Finland の資金提供による MAISA プロジェクト(2025〜2027 年)の一部である。 同プロジェクトは LLM ベースのエージェントのソフトウェアエンジニアリングへの統合を調査しており、 学術界とフィンランドの企業 8 社を結びつけている。著者らは、このレビューがそのコンソーシアムの 産業ニーズに応えるものだと説明している。

著者らは、研究の属性情報、抽出したベンチマークとモデル、そして分類した課題・解決策・今後の方向を 収めたレプリケーションパッケージを公開しており、論文本体よりも詳細な記述についてはそちらを 参照するよう読者に促している。

コーパスの 2 つの限界が、論文自身の枠組みの中で認められている。所属組織の分布は、産業発の研究が あまり索引付けされていない学術データベースにレビューが焦点を当てていることの影響を受けている。 そのため産業の割合は、産業界の活動を測定しているというより、過小評価している可能性がある。

主題そのものについては LLM ベースのマルチエージェントシステム を参照。