LLM ベースのエージェントは、反復的な推論、探索、ツール利用を通じて複雑なタスクを解決するが、この過程で長く高コストなコンテキスト履歴が生じうる。論文は、OpenHands や Cursor のような最先端のソフトウェアエンジニアリングエージェントがこれに対処するために LLM ベースの要約を用いていることを指摘し、その追加の複雑さが、古い観測を単純に省略する場合と比べて目に見える性能上の利点をもたらすのかを問う。
著者らは、SWE-Agent 内で SWE-Bench Verified を用い、5 つの多様なモデル構成にわたって 2 つのアプローチを体系的に比較し、その知見が OpenHands のエージェントスキャフォールドにも一般化するという初期的な証拠を報告している。その結果、単純な環境の観測マスキングは、素のエージェントに比べてコストを半減させつつ、LLM による要約の解決率と同等、場合によってはわずかに上回ることがわかった。著者らはさらにコストを削減するハイブリッド手法も導入している。
要点
- 単純な環境観測マスキング戦略は、素のエージェントに比べてコストを半減させつつ、LLM による要約の解決率と同等、場合によってはわずかに上回る。
- 主要な比較は SWE-agent 内で SWE-bench Verified を用い、5 つのモデル構成にわたって行われている。知見が OpenHands のエージェントスキャフォールドにも当てはまるという証拠は、初期的なものと説明されている。
- 新しいハイブリッド手法は、観測マスキング単独と比べてさらに 7%、LLM による要約単独と比べて 11% コストを削減する。
- 著者らは、この知見が純粋な LLM による要約へと向かう傾向に懸念を投げかけるものであり、効率と有効性のフロンティアにおいてまだ活用されていないコスト削減の余地があることを示していると述べている。
補足
この論文は 2025 年 8 月 29 日に arXiv に初投稿された。2025 年 10 月 27 日付のバージョン 3 は、NeurIPS 2025 と併催された第 4 回 DL4C ワークショップ向けのカメラレディ版であり、OpenHands での一般性の検証とハイブリッドなコンテキスト管理戦略が追加されている。著者らは再現性のためにコードとデータを公開している。