トレースグレーディング（trace grading）とは、エージェントのワークフローを、そのトレースをグレーダーで採点することによって評価する実践である。エージェントのワークフローの評価に関する OpenAI のドキュメントでは、トレースとは 1 回の実行を端から端まで記録したもの（その実行に含まれるモデル呼び出し、ツール呼び出し、ガードレール、ハンドオフ）であり、グレーダーはそうしたトレースを構造化された基準に照らして採点する。これにより、退行や失敗モードを大規模に見つけられる。同ドキュメントはこれをワークフローレベルの問題を特定する最速の方法と呼び、エージェントの振る舞いをまだデバッグしている段階で最初に取り組むべきものと位置づけている。
用法
トレースグレーディングが向いているとされる問いは、単一の回答ではなくワークフローに関するものである。すなわち、エージェントが正しいツールを選んだか、ハンドオフが起こるべきときに起こったか、ワークフローが指示や安全性ポリシーに違反しなかったか、そしてプロンプトやルーティングの変更によって端から端までの振る舞いが改善したか、である。OpenAI が自社プラットフォームについて説明している手順は、ダッシュボードのトレースビューを開き、代表的なワークフローのトレースを調べ、グレーダーを作成して選択したトレースに対して実行し、その結果を使ってプロンプト、ツール群、ルーティングのロジック、あるいはガードレールを改善する、というものである。OpenAI Agents SDK で構築するコードファーストのワークフローについては、グレーダーを正式に定める前に質の高いトレースを得る方法として、同 SDK のトレーシング連携を挙げている。
適用される場面
- 条件。 振る舞いをまだデバッグしている段階で、個々の実行で何がうまくいっていないのかが問題になっているときに推奨される。
- 前提。 実行がトレースとして記録されていなければならず、また誰かが、グレーダーの基準を書けるほどに良い実行とはどのようなものかを言えなければならない。
- 適用の限界。 同ドキュメントはこれを評価の全体ではなく最初の段階として扱っている。「良い」とはどういうことかが明確になったら、個々のトレースから再現可能なデータセットと評価実行へ移り、変更のベンチマーク、プロンプトの比較、あるいは時間をかけたより大規模な評価を行うことを推奨している。
- どの程度確立しているか。 情報源は、単一のベンダーが自社プラットフォームの評価機能を説明する製品ドキュメントであり、この実践を推奨してはいるが、測定結果を報告してはいない。