自動化バイアスとは、自動化されたシステムを過度に信頼してしまう傾向であり、とりわけそのシステムが過去に確実に機能してきた場合に生じる。エージェント型 AI のためのモデル AI ガバナンス・フレームワーク は、これをエージェントに対する人間の説明責任を妨げる三つの課題の一つとして挙げている。他の二つは、固定されたロジックからではなく動的に生じる行動と、責任を複数の主体に分散させるバリューチェーンである。そして同フレームワークは、人間がますます高い能力を持つエージェントを監督するようになるにつれて、これがより大きな懸念になると述べている。同フレームワークの説明では、これこそが、エージェント型の導入において ヒューマン・イン・ザ・ループ を単にそのまま採用するのではなく適応させなければならない理由である。
用法
このフレームワークは、人間による監督の有効性を、チェックポイントがあれば保証されるものではなく、時間をかけて測定すべきものとして扱っている。挙げられている指標は二つある。人間によるオーバーライド率、つまり人間がエージェントの行動をどれだけの頻度で却下または修正するかは、低い方向へのシグナルとして読まれる。低い率は、中身を見ずに承認していること（ラバースタンプ）を示している可能性がある。レビュー中の人間の応答時間は、短い方向へのシグナルとして読まれる。短い時間は、自動化バイアスやレビュー疲れを示している可能性がある。さらにフレームワークは、データ分析を用いて、意思決定のパターンが標準から大きく外れた「外れ値」の人間を特定することを提案しており、それが監督が損なわれていることを示している可能性があるとしている。
測定と並んで、フレームワークは、人間の監督者を訓練して、一貫性のない推論や古いポリシーへの依存といった、エージェントのよくある失敗モードを見分けられるようにすることを推奨している。同じ箇所で、説明可能性のために使われることのある chain-of-thought 推論は人間の推論と類似したものではなく、エージェントの行動を忠実に説明しているとは限らないとも指摘している。また、監督者が自分の承認する内容を評価できるだけのドメインの専門知識を実際に持っていることも求めており、その例として、生成されたコードの堅牢性をレビューするだけのソフトウェアエンジニアリングの専門知識を持たずに、エージェントを使って「バイブコーディング」するユーザーを挙げている。
適用される場面
自動化バイアスへの対策は、組織が頼りにしている統制が人間による承認ステップである場面であればどこにでも当てはまり、そのステップが、オーバーライド率や応答時間にパターンが見えるほど頻繁に行われることを前提としている。この問題がなぜ大きくなるのかについてのフレームワーク自身の説明は、エージェントの意思決定の速さがリアルタイムの監督を難しくすること、そして安全策として人間の承認者にエージェントを継続的に監督させること自体が、自動化バイアスやアラート疲れを生みうるというものである。したがって上記の対策は、承認ポイントを増やすとかえって根底にある問題を悪化させうるという状況を背景にしている。フレームワークが補完的に推奨しているのは、承認を増やすことではなく、自動化されたリアルタイム監視である。具体的には、ログに記録されたイベントに対するアラート、エージェントの軌跡に対する異常検知、エージェントによる他のエージェントの監視、そして承認のためのインフラが機能しなくなったときにはデフォルトで行動を拒否することである。これらの実践は、政府機関や企業とともに取りまとめられた新たなベストプラクティスとして提示されており、それを収めた文書は自らを「生きた文書」と称し、今後更新されることを想定している。