ソフトウェアエンジニアリングのための LLM ベースのマルチエージェントシステム：文献レビュー、ビジョン、そして今後の道筋

この論文は、ソフトウェアエンジニアリングにおける LLM ベースのマルチエージェントシステム の 役割を検討し、それが向かう先についてのビジョンを示す。マルチエージェントという形態を支持する 論拠は、現実世界の問題は複数の領域にまたがり、さまざまな分野の専門知識を必要とするが、単一の LLM ベースのエージェントではそれを提供しにくい、というものである。著者らはマルチエージェント 構成の利点として 3 つを挙げる。自律的な問題解決、意思決定における相互検証による堅牢性と 耐障害性、そしてエージェントの追加とタスクの再割り当てによる複雑なシステムへのスケーラビリティ である。

論文の中核は、最近の一次研究 71 件の体系的レビューである。これらは DBLP 出版データベースの キーワード検索と、前方および後方のスノーボーリングを組み合わせて見つけられ、明示的な採択・除外 基準によってふるい分けられた。短い論文、重複、サーベイやツールデモのような一次研究でないもの、 マルチエージェントシステムを記述していない論文はすべて除外され、単一エージェントまたは エージェントでない LLM 手法のみに依拠する論文も同様に除外された。レビューは得られた知見を、 要求工学、コード生成、ソフトウェア品質保証、ソフトウェア保守、エンドツーエンドのソフトウェア 開発にわたって整理している。コード生成では繰り返し現れるエージェントの役割として、 Orchestrator、Programmer、Reviewer、Tester、Information Retriever を抽出している。エンドツーエンドの 開発では、システム設計が確立されたソフトウェアプロセスモデルに従う傾向があり、ウォーターフォールを採用するもの、 アジャイルを採用するもの、そしてプロジェクトごとにプロセスを動的に 生成する少数のものがあると指摘している。

続いて著者らは ChatDev を用いてスネークゲームとテトリスを作る 2 つの ケーススタディを行い、2 段階の研究アジェンダで締めくくる。フェーズ 1 は個々のエージェントの 能力の強化、フェーズ 2 はエージェント間の相乗効果の最適化であり、後者は人間とエージェントの協働、 評価、複雑なプロジェクトへのスケーリング、産業界の原則、動的な適応、プライバシーを扱う。

要点

• ソフトウェアエンジニアリングにおける LLM ベースのマルチエージェント（LMA）システムに関する 71 件の一次研究を体系的にレビューし、要求工学、コード生成、品質保証、保守、エンドツーエンドの 開発にわたってマッピングしている
• LMA システムを、オーケストレーションプラットフォームと LLM ベースのエージェントという 2 つの 構成要素からなるものと定義し、プラットフォームをその協調モデル、コミュニケーション機構、 計画と学習のスタイルによって特徴づけている
• コード生成において繰り返し現れるエージェントの役割として、Orchestrator、Programmer、 Reviewer、Tester、Information Retriever を特定している
• エンドツーエンドの LMA 設計が確立されたソフトウェアプロセスモデルに依拠しており、 ウォーターフォールやアジャイルを採用するもののほか、要求からプロセスを動的に生成する少数の ものがあることを観察している
• ChatDev による 2 つのケーススタディを報告している。スネークゲームは 2 回目の試行で成功した 一方、テトリスは 10 回の試行を要し、できあがったゲームでも揃った行を消す機能が欠けていた。 著者らはこれを、より深い論理的推論と抽象化を必要とするタスクにおける限界と解釈している
• ソフトウェアエンジニアリングには Mixture of Experts（MoE）よりも LMA システムのほうが適した アプローチだと論じている。その根拠は、MoE のエキスパート同士は互いにコミュニケーションしないのに 対し、LMA のエージェントは情報を交換し、ツールからのフィードバックを取り込み、 ヒューマン・イン・ザ・ループによる介入をサポートできるという点にある
• 2 段階の研究アジェンダを提案している。まず個々のエージェントの能力を強化し、次にエージェント間の 相乗効果を最適化する

注記

2 つのケーススタディは単一のフレームワークと 2 つの古典的なゲームを用いたものであり、複雑さの 限界についての著者らの主張を測定するというより例示するものである。著者らはこれらを現在の能力と 限界のデモンストレーションとして提示している。

著者ら自身が挙げている妥当性への脅威は 1 つである。文献の検索と選定の過程で関連する研究が 意図せず除外された可能性があり、著者らは DBLP 検索の網羅性とスノーボーリングによってこれを 緩和しようとした。