コンパクトフィルタリング(compact filtering)とは、マルチターンの LLM エージェントに対する強化学習(RL)の訓練手法であり、 最大コンテキスト長、環境ステップ数の上限、またはタイムアウトに達して終了した軌跡を損失の計算からマスクして除外することで、 エージェントが意図的に終了させた軌跡だけが訓練に寄与するようにする。この手法は DeepSWE:RL のスケーリングによる、完全にオープンソースの最先端コーディングエージェントの訓練 において、DAPO の overlong filtering——最大コンテキスト長に達した軌跡だけをマスクする手法——を拡張したものとして導入された。著者らの 論拠は、マルチターンのエージェント的な設定では、軌跡は(長い生成や長い環境実行によって)タイムアウトすることでも、 ステップを使い切ることでも終了しうる、というものである。

用法

これは DeepSWE-Preview コーディングエージェントの訓練に用いられた RL アルゴリズム GRPO++ の構成要素の一つであり、 そこでは生成のタイムアウトが 20 分に設定されていた。著者らは、この手法が役立つ理由を二つ挙げている。第一に、 報酬の崩壊を防ぐ、あるいは遅らせる。エージェントはそれと知らずにすべてのテストを通過するパッチにたまたま行き当たる ことがあり、そうした実行に報酬を与えると、ステップをまたいで望ましくない振る舞い——たとえば、早い段階で正しく 答えたあとで無関係なファイルにでたらめにパッチを当てること——が強化され、それが蓄積して訓練が崩壊するに至る。 エージェントが意図的に提出したときにのみ報酬を与えることで、最終提出前の入念なテストが促される。第二に、各ステップ 内での過剰な思考を減らし、ステップをまたいだより長い推論を促す。コンパクトフィルタリングを有効にした実行では、 平均応答長が減少する一方で、平均環境ステップ数は増加した。

適用される場面

この手法は、環境の中で多数のターンにわたって行動し、その軌跡が明示的な提出(submit)や終了(finish)アクションだけで なく、資源の枯渇(コンテキスト、ステップ、時間)によっても終了しうるエージェントの RL 訓練に適用される。意図的な終了を 区別できるよう、そうした終了アクションが存在することを前提としている。その根拠は一つのチームによる報告である。 すなわち、Qwen3-14B でコンパクトフィルタリングの有無を比較したアブレーションと、DeepSWE の訓練実行の学習曲線であり、 いずれも著者ら自身が提示したものである。

関連用語

軌跡評価, AI コーディングエージェント