EvoClaw は、継続的なソフトウェア進化において AI エージェントを評価するためのベンチマークである。 エージェント型ソフトウェア：AI エージェントはソフトウェアのパラダイムをいかに再構築しているか で取り上げられており、同論文は、自らが提唱する エージェント型パラダイムにとってなお残る課題のうち、最も厳しい現実を示すデータを提供するものとしてこれを紹介している。
内容
EvoClaw を個別タスク型のベンチマークと分けているのは、課すタスクの形である。エージェントに修正すべき 単一の issue を提示するのではなく、コミット履歴にわたる持続的な開発を求め、その中で各変更はシステムの整合性を 保たなければならず、エラーは一連の流れの中で蓄積していく。この構成によって、タスクごとの正しさではなく、 長期的な保守とエラー伝播を試すテストとなっている。
用途
エージェント型ソフトウェア：AI エージェントはソフトウェアのパラダイムをいかに再構築しているか は EvoClaw の主要な結果として、全体の性能スコアが 個別タスクでの 80% 超から、継続的な設定では最大でも 38% へと大きく低下したことを報告しており、このベンチマークの 著者らはこれを、エージェントが長期的な保守とエラー伝播に深刻な困難を抱えていることを露呈するものと解釈している。 この数値の背後にある評価は、4 つのエージェントフレームワークにまたがる 12 のフロンティアモデルを対象としていた。
これらの結果を読み解く同論文は、そこから 4 つの課題を引き出している。コンテキストのドリフト（コードベースが実効的な コンテキストウィンドウを超えて成長し、エージェントがシステム全体の不変条件についての一貫した理解を失う）、エラー伝播 （初期のコミットにおける小さなエラーが連鎖して複合的な失敗に至り、エージェントにはそうした連鎖を検出し回復するための 堅牢な仕組みが欠けている）、技術的負債への意識の欠如（エージェントは設計上の判断がもたらす長期的なコストをモデル化 せずに、目先のタスク完了に最適化する）、そして検証の忠実度（自動テストはいまだ不完全であり、エージェントは テストに合格しながら、新しい入力の下でのみ表面化する微妙な意味的エラーを持ち込みうる）である。
同論文は、2 つの数値の差を、現在のエージェントの能力と完全自律型ソフトウェアエンジニアリングに必要な閾値との 距離を定量化するものとして扱い、そのうえでこの差は本質的なものではなく、いずれも活発に研究が進められている コンテキスト管理、メモリアーキテクチャ、検証メカニズムの限界を反映したものだと論じている。また、長いコンテキストに わたる状態管理を未解決問題の 1 つとして挙げているが、それはまさにこのベンチマークの結果を根拠としている。なお、 ここに記録されている EvoClaw に関する内容はすべて、ベンチマーク自体の公開物ではなく、同論文による説明に基づく。