pass@k は、エージェントがあるタスクに対する k 回の試行のうち少なくとも 1 回正しい解を得る可能性を測る評価指標である。試行が多いほど成功の機会も増えるため、k が大きくなるにつれてスコアは上がる。k = 1 のときは試行ごとの成功率に等しく、pass@1 が 50% であれば、モデルは評価のタスクの半分を最初の試行で成功させることを意味する。
用法
AI エージェントの評価をわかりやすく解説する は、同じタスクがある実行では合格し次の実行では不合格になりうるというエージェント評価の非決定性に対処するための 2 つの指標の 1 つとして pass@k を示している。同記事は、コーディングでは主な関心がエージェントが最初の試行で解を見つけること、すなわち pass@1 にあることが多い一方、ほかのケースでは、多くの解を提案してもそのうち 1 つがうまくいけば許容されると述べている。同じ記事は、1 回の成功が重要なツールには pass@k を、一貫性が欠かせないエージェントにはその対となる pass^k を推奨している。試行が増えるにつれて両者は乖離し、k = 10 では pass@k が 100% に近づく一方で pass^k は 0% に向かって下がる。
同記事はこの指標を評価結果の読み取りにも用いている。フロンティアモデルの場合、多数の試行にわたる合格率 0%（記事の例では pass@100 が 0%）は、エージェントの能力不足よりも、壊れたタスクの兆候であることが最も多いとされる。