本論文は、Findings of the Association for Computational Linguistics: ACL 2026 に掲載された、LLM ベースのエージェントの評価手法に関するサーベイである。出発点となる立場は、LLM ベースのエージェントが AI におけるパラダイムシフト、すなわち動的な環境と相互作用しながら自律的に計画し、推論し、ツールを使うシステムを表しているというものである。著者らは本サーベイを、こうしたエージェントの評価方法を包括的に扱った最初のものと位置づけている。
サーベイは、エージェント評価の分野を 5 つの観点から整理している。1 つ目は、エージェント型ワークフローが依存する LLM の中核能力で、例として計画とツール利用が挙げられている。2 つ目は、Web エージェント向けや SWE（ソフトウェアエンジニアリング）エージェント向けのものを含む応用別ベンチマークである。3 つ目は汎用エージェントの評価、4 つ目はエージェントベンチマークが構築される際の中核的な次元の分析、5 つ目はエージェント開発者が利用できる評価フレームワークとツールの概観である。
この分析から著者らは、公開時点で固定されるのではなく継続的に更新されるベンチマークに支えられて、分野がより現実的で難易度の高い評価へと向かう傾向を報告している。あわせて、今後の研究にとって最も重要だと考える欠落点を挙げている。
主なポイント
- 本サーベイは、LLM ベースのエージェントの評価手法に関する最初の包括的なサーベイであると自らを位置づけている。
- エージェント評価を 5 つの観点から分析している。エージェント型ワークフローに必要な LLM の中核能力、応用別ベンチマーク、汎用エージェントの評価、エージェントベンチマークの中核的な次元の分析、そしてエージェント開発者向けの評価フレームワークとツールである。
- サーベイが検討する応用別ベンチマークのカテゴリとして、Web エージェントと SWE エージェントが挙げられている。
- 著者らは、継続的に更新されるベンチマークを基盤とした、より現実的で難易度の高い評価へと向かう傾向を報告している。
- 現在のエージェント評価が最も十分に測れていない次元として、コスト効率、安全性、堅牢性を挙げている。
- また、きめ細かくスケーラブルな評価手法の必要性を訴えており、これを解決済みの問題ではなく未解決の問題として扱っている。
補足
著者らが挙げる欠落点 ── コスト効率、安全性、堅牢性、きめ細かくスケーラブルな評価 ── は、サーベイ自体が決着させた知見としてではなく、今後の研究が取り組むべき方向として述べられている。本論文は ACL 2026 の Findings トラックに掲載され、Association for Computational Linguistics から DOI 10.18653/v1/2026.findings-acl.1330 のもとで出版されている。