振る舞いのドリフトは、決定論から委任へ：AI ネイティブなソフトウェアエンジニアリングとエージェント型エンジニアの進化 がエージェント型システムの劣化のしかたを指して用いる語であり、この論文はそれを、劣化しないものとしての決定論的ソフトウェアと対比させている。論文は 2 つの分布のシフトを区別する。データドリフトは周辺入力分布のシフトであり、システムが本番環境で出会う入力が、学習時の入力に似なくなることである。コンセプトドリフトは条件付き分布のシフトであり、同じ入力が今では別の正しい出力を生むべきである状態を指す。論文はこの 2 つを別々に述べるだけで、両者の関係については論じていない。
論文はこの 2 つに加えて、もう一つの原因を挙げている。基盤となるモデルがプロバイダーによって更新されることもあるため、エージェントは自らのデプロイメントの中で何一つ変わらなくても振る舞いを変えうる。論文がここから導く帰結は、エージェントには安定した終端状態がなく、テスト、評価、検証、妥当性確認の体制のもとで、自動化された統計的モニタリングとともに恒久的なスチュワードシップを必要とする、というものである。
用法
この概念は、エージェント型システムにとって「完了」は意味のある状態ではない、と論じるために用いられる。同論文の 14 次元の比較では、ライフサイクルの行がこの概念を軸にしている。古典的なプラクティスは仕様、設計、実装、テスト、デプロイを経て明確な「完了」へと向かうのに対し、エージェント型のプラクティスは実験中心でトレース駆動であり、振る舞いがドリフトするため終端としての「完了」がない。
これは 合成的信頼性 と並べて読む価値がある。同じ論文が隣接する節で扱っているもので、あちらは 1 回の長い実行の中でエージェントをどこまで信頼できるかに関わり、こちらはエージェントについてのあらゆる測定がどれだけ長く有効であり続けるかに関わる。論文は両者を自律型ソフトウェアエージェントの根底にあるメカニズムとして論じているが、ここでの組み合わせはこのウィキによるものであり、論文が行っているグループ分けではない。
適用される場面
論文はこの対比を、決定論的ソフトウェアはドリフトによって劣化しないのに対し、エージェント型システムは劣化する、と述べている。プロバイダーによる更新のケースは、これをさらに広げる。デプロイする組織が何一つ変えていない場合にも当てはまるのであり、それがこれを単なるエンジニアリング上の問題ではなくガバナンス上の懸念にしている。
論文の言葉でいえば、これが求めるのは、合格か不合格かを判定するテストスイートではなく、恒久的なスチュワードシップと自動化された統計的モニタリングである。監視対象が値ではなく分布だからである。論文はこれを、エージェント型プラクティスの中心的な成果物としての評価の扱いに結びつけており、具体的には、静的な精度を超えて、データ、モデル、意図のドリフトへの反応を評価するフレームワークによって頑健性を定量化することに結びつけている。
その帰結は、2 つの方向から論文の未解決問題に及ぶ。持続的なスチュワードシップの項では、恒久的なモニタリング、再評価、再調整のコストモデルが、ポートフォリオのレベルではまだよく理解されていないと述べている。説明責任の帰属の項では、振る舞いを黙って変えてしまうベンダー提供のモデル更新を、責任の配分を法的にも倫理的にも未確定にしている要因の一つとして挙げている — ドリフトは単なる信頼性の問題ではなく、システムが運用者の足元で変化したときに誰が責任を負うのかという問題なのである。
この説明は 1 本のポジションペーパーに基づいている。この論文は 2 つの分布のシフトとプロバイダー更新という原因を簡潔に述べ、それらを合わせて結論を導いている。ドリフトについての独自の測定は報告していない。
関連用語
- 決定論から委任へ：AI ネイティブなソフトウェアエンジニアリングとエージェント型エンジニアの進化 — この説明の出典である論文
- 合成的信頼性 — 同じ論文が扱う隣接するメカニズムで、別の時間軸に関わるもの
- コンテキストロット — これとは別の、時間をまたぐものではなくセッション内で起こる劣化
- AI ネイティブ・ソフトウェアエンジニアリング — 終端としての「完了」に代わって恒久的なスチュワードシップが求められるパラダイム