SkillsBench は、SkillsBench：多様なタスクにおける Agent Skills の有効性のベンチマーク で導入されたベンチマークであり、Agent Skills（推論時に LLM エージェントを拡張する、手続き的知識の構造化されたパッケージ）が、専門知識を多く要するエージェント型の作業で実際にどれほど役立つかを測定する。
内容
論文に記述されている現時点のベンチマークの構成は、8 つのドメインにまたがる 87 のタスクである。各タスクにはキュレーションされたスキルと決定論的な検証器が組み合わされており、同じタスクをスキルありとスキルなしの両方で実行し、どちらの条件でも同じ方法で採点できるようになっている。
用途
SkillsBench：多様なタスクにおける Agent Skills の有効性のベンチマーク は、87 のタスクを、条件をそろえたスキルなしとキュレーション済みスキルありの 2 条件で、18 のモデルとハーネスの構成について実行している。その報告によれば、キュレーションされたスキルは平均合格率を 33.9% から 50.5% に引き上げ、構成ごとの向上幅は +4.1 から +25.7 パーセントポイントであった。また、モジュールが 3 つ以下の焦点を絞ったスキルは、より大きな、あるいは網羅的なバンドルを上回り、スキルを持つ小さなモデルはスキルを持たない大きなモデルに匹敵しうるという。