監督付きエージェンシーのスペクトラムとは、自律性は二値ではないという論点を示すために 決定論から委任へ:AI ネイティブなソフトウェアエンジニアリングとエージェント型エンジニアの進化 が用いている枠組みである。この枠組みは 1 本の軸の上にアシスト、シャドー、ヒューマン・イン・ザ・ループのゲート、限定的、完全という 5 つの位置を置き、その軸に沿って連動する 3 つの量を指摘している。人間の権限は下がり、エージェントの主導性は高まり、ガバナンスの負担は増していく。

システムが実際にどこに位置しているかについて論文が示す実践的な観察は、規制のある領域における企業のデプロイメントの大半は「限定的」より左側で運用されており、破壊的なアクションをヒューマン・イン・ザ・ループのゲートの向こう側に留保している、というものである。

用法

論文は、デプロイメントを一度に有効化されるものではなく、段階的な信頼を経て進むものとして描いている。エージェントが提案し人間が決定を下すシャドーモード、重大な結果を伴うアクションに対するヒューマン・イン・ザ・ループのチェックポイント、そしてスコープを限定した権限の範囲内での限定的な自律性である。論文が示す典型的なエージェントループの図では、HITL ゲートは、重大な結果を伴うアクションや取り返しのつかないアクションが環境に到達する前にそれを仲介するものとして配置され、ブロックされたアクションは修正のために差し戻される。

論文はこの枠組みの拠り所を CMU SEI の人間中心の柱に求めている。この柱は、AI システムは人間のニーズに沿わなければならない社会技術的な人工物であり、特にリスクの高い領域においては、意思決定の権限が人間のオペレーターに残る明示的な境界を確立しなければならないとする。

論文はまた、この協働を純粋な監督ではなく双方向のものとして描いている。エージェントは計画、実装、テスト、レビュー、ドキュメント作成、運用上のトリアージにわたって一次実装者として動き、調整のサイクルを圧縮する一方で、人間はアーキテクチャ、プロダクトの意図、最終的な品質判断を保持する。論文が挙げるより深い利得は、それが実現する場合には、認知的なレバレッジ、すなわち引き継ぎが減り、システムに関する知識を再発見する手間が減ることである。

適用範囲

このスペクトラムが当てはまるのは、委任するかどうかではなく、どこまで委任するかが問われる場面すべてであり、論文はそれを通常のケースとして扱っている。論文自身のエビデンスは、個々のデプロイメントの位置をデフォルトに任せず意図的に決めるべき理由を 2 つ与えている。

1 つ目は、利得が一様ではないことである。論文は、完了が 55.8% 速くなったと報告するラボ実験と、完了したタスクが 26.1% 増えたと報告する 3 つのフィールド実験を、経験豊富なオープンソース開発者 16 人を対象に各自の成熟したリポジトリで行われ、完了時間の 19% の増加を見出したランダム化比較試験と対置している。そしてこれを、利得はスコープの明確なタスクやコンテキストの少ない層に集中する一方、コンテキストの多い熟練者の作業では正味のコストが生じうることを示すものとして読んでいる。

2 つ目は 合成的信頼性 である。エージェントのエンドツーエンドの成功は依存するステップをまたいで乗算的に減衰するため、長いタスクの途中に置かれた人間のチェックポイントは、慎重さへの譲歩ではなく、そもそも自律性を実用に耐えるものにしているものである。

このスペクトラムが対処するよう構成されている失敗モードは、論文が全体を通じて扱っているものである。すなわち、エージェント型システムは、コードが構文的に正しい場合でも、意図を誤解する、誤ったツールを選ぶ、コンテキストを失う、過剰な自律性をもって行動するといったことによって誤ったことをしうるということ、そしてそのリスクはエージェンシーそのものによって増幅されるということである。間接プロンプトインジェクションのもとでは、汚染された文書がエージェントに正当なツールを悪用させうるからである。

体系としては、これは 1 本の論文による提示にすぎず、デプロイメントの調査から導かれたものではなく図と 1 段落で示されたものであり、各位置は運用上の閾値によって定義されてもいない。論文は自らそう明言するポジションペーパーであり、将来に関する主張を反証可能な仮説として扱っている。「企業のデプロイメントの大半」という観察は、裏付けとなる測定なしに述べられている。

関連用語