このデモ論文は、OpenAI Codex や Claude Code のような自律エージェントによって重要な作業を委任することが現実的になった一方で、人がその作業を監督するためのインターフェースは追いついていないと論じる。著者らは、ターミナルベースやチャット中継による対話に 3 つの具体的な問題を指摘している。第一に、ターミナルの出力は推論トレース、ツールのログ、提案されたアクションを 1 つのストリームに混在させるため、実際にレビューが必要なものが何かを見分けにくい。第二に、フィードバックが煩雑で、小さな局所的な修正であってもユーザーは自由形式の訂正を入力しなければならない。第三に、重要なアクションは不透明なイベントや二択のプロンプトとして提示されるため、的を絞った確認の余地がない。著者らは、これらの障壁は専門家でないユーザーに最も重くのしかかり、エージェントがリモートやヘッドレスの基盤上で動作する場合にはさらに深刻になると論じる。そこではターミナルは単に貧弱な媒体であるだけでなく、しばしばアクセスすらできない媒体だからである。
これに対する著者らの回答が AgentClick であり、人間、ブラウザ、バックエンド、エージェントの 4 つの構成要素を中心に組み立てられたレビュー層である。エージェントは即座に行動する代わりに提案をバックエンドに提出し、バックエンドはセッション状態を保持し、HTTP 経由でブラウザインターフェースを提供し、編集内容を記録し、承認または修正のシグナルを返す。論文の中心的な設計上の主張は、エージェントの出力の種類によって必要なレビューの手段が異なるというものである。そのため、このシステムは汎用的な承認ダイアログを 1 つ用意するのではなく、各成果物の構造に合わせたインターフェースを提供する。メールには受信トレイと段落単位の編集、計画には型付きのステップカード、コードには展開可能な差分とハンクごとの承認、メモリには明示的な一覧表示、軌跡にはツール呼び出しとリトライの構造化されたビューである。
統合は、著者らが階層的スキル設計と呼ぶものによって行われる。エージェントは SDK ではなく一連の Markdown のスキルを読み込む。メインのスキルがサーバーを起動し、各ドメインのペイロードスキーマとレビューアクションを定義するサブスキルへと処理を振り分ける。著者らはこれを、この層を可搬にする仕組みとして提示している。Markdown の指示を読んでそれに従えるエージェントであれば、そのコードベースに手を加えることなく導入できる。
主なポイント
- このシステムは、単に実行をゲートするものではなく、協働を改善するものとして位置づけられている。ユーザーは承認する、直接編集する、内容を削除する、制約を調整する、的を絞った書き直しを依頼する、といったことができ、著者らは、出力がおおむね正しいものの局所的な変更が必要な場合にこれが最も重要になると論じる。
- 専用の SDK ではなくスキルを選んだ理由として 2 点が挙げられている。エージェントのコードベースへの計装が不要でランタイム依存も追加しないこと、そして Markdown の指示に従えるあらゆるエージェントに移植可能であることである。
- メモリのインターフェースは、特にコンテキストのコンパクションを動機としている。著者らは、セッションが長くなるとエージェントが会話を要約してクリアするが、その結果得られる要約にはユーザーが必要とする内容がしばしば欠けており、残すべきものはプロジェクトツリーからファイルを探し出して手作業で再読み込みしなければならないと指摘する。AgentClick は生成された要約を保存前に提示し、レビューと編集を可能にする。
- 軌跡の確認は、事後的なデバッグではなく能動的な監督のチャネルとして位置づけられている。ユーザーは特定のステップにガイダンスを注釈として付けることができ、それはメモリに保存されて後の類似タスクで利用される。
- 好みの取り込みは、理由付きの編集を通じて機能する。ユーザーが成果物の一部を編集または削除し、明示的な理由を示すと、システムはそれを構造化されたメモリファイルに記録し、エージェントは以降の実行でそれを読み込む。
- リモートでのレビューは、トンネル経由で公開されたサーバー上で OpenClaw のもとでエージェントを動かすことで実演されている。ユーザーはサーバー側のエージェントがメールを送信する前に、モバイルブラウザからメールの下書きをレビュー・編集した。
- 計画レビューのウォークスルーでは、ターミナルはフレームワークの選択を多肢選択のプロンプトとして提示するだけで後続のステップは見えなかったが、同じ計画がブラウザではパイプライン全体をカバーするステップカードとして表示され、ユーザーは実行開始前に 2 つの制約を追加した。
- メールのウォークスルーでは、ユーザーが絵文字を使った軽めの文体を求め、それを明示的な理由として示したところ、次のメールではその指示を繰り返さなくてもエージェントが自動的にその好みを反映したと報告されている。
補足
著者らは評価の限界について明確に述べている。自律的なタスク完遂ではなく人間とエージェントの協働という観点から評価しており、3 つのウォークスルーは正式な対照ユーザー調査ではなく能力を示すための例示であると率直に述べている。それらをまとめた能力表は、各ウォークスルーでどの能力が使われたかを記録したものであり、測定された成果ではない。著者らは、他者がこれらのワークフローを検証・拡張できるよう、コードベースとデモスクリプトを公開している。
この論文は、3 つの先行研究の系統に対して自らを位置づけている。ヒューマン・イン・ザ・ループのエージェントシステムとは、既存のターミナルエージェントの上に展開できる軽量な層を目指し、明示的に好みを取り込む点で区別される。リモートアクセスやターミナル転送のインターフェースとは、チャットやターミナルのビューを公開するのではなく、タスク固有の成果物インターフェースを提供する点で区別される。デバッグや実行のプラットフォームとは、エージェントを再ホストしたり事後にトレースを分析したりするのではなく、既存のエージェントに接続して実行の前や実行中に介入する点で区別される。