コンピュータ操作（computer use）とは、モデルが専用に作られた API を呼び出すのではなく、ユーザーに代わってグラフィカルなインターフェース——ブラウザ、モバイルアプリ、デスクトップ環境——を操作するエージェントの能力である。モデルは画面のスクリーンショットを、タスクのプロンプトやそれまでのコンテキストとあわせて受け取って作業し、モデルが求めたことを実際に行う環境は呼び出し側が用意する。モデルが何を返すかはベンダーによって異なる。クライアント側のハンドラが再生するための個別の UI アクション（マウスクリック、キー入力、スクロール、ドラッグ＆ドロップ）を出力する場合もあれば、自動化ライブラリを通じてインターフェースを駆動するコードを書く場合もある。
用法
公開されている二つの実装はいずれもループを中心に組み立てられており、両者の違いは、各ターンにモデルと環境の境界を越えて何がやり取りされるかにある。
Google の Gemini API は、関数呼び出しに似た computer_use ツールを提供しており、ブラウザ、モバイル、デスクトップの各環境を対象とする。アプリケーションはスクリーンショットをタスクのプロンプトとともにモデルへ送り、モデルは UI アクションを返す（Gemini 3.x モデルでは、各アクションに、そのアクションを選んだモデルの推論を説明する intent 文字列が付く）。クライアントはモデルの正規化された座標を実際の画面に合わせて換算し、ブラウザまたは OS の自動化ライブラリでそのアクションを実行したうえで、新しいスクリーンショットを取得してモデルに送り返し、ループを続ける。Gemini の実装は、現行のアクション語彙（click、type、scroll、navigate など。環境によって異なる）と、旧モデル向けの旧来の語彙（click_at、type_text_at、scroll_at）の両方をサポートしている。また、呼び出し側が既定の定義済みアクションを除外し、代わりに独自のアクションを登録することもできる——たとえば、モデルが安全でない、あるいは曖昧だと判断した場合に人間へ制御を戻す yield_to_user 関数である。
OpenAI のドキュメントは同じ能力について二つの統合方式を示しており、GPT-6 Astra モデルには一つ目を推奨し、二つ目もサポート対象の代替手段として残している。コード実行方式では、モデルにはスクリプトを受け取る通常の関数ツールが与えられる。アプリケーションはそのスクリプトを隔離されたブラウザまたはデスクトップ環境で実行し、スクリーンショットを含むその出力を返す。やり取りの単位が単一の操作ではなくスクリプトであるため、1 回の呼び出しで複数のアクション、ループ、条件分岐を組み合わせることができる。コンピュータツール方式では、モデルは代わりに構造化されたマウス・キーボードのアクションを返し、アプリケーションがそれをブラウザやデスクトップへの入力に変換する。ループはモデルが computer_call 項目を返さなくなるまで続く。いずれの方式でも、モデルが以前の作業を踏まえて続けられるよう、環境は呼び出しの間も利用可能な状態に保たれていなければならない。また OpenAI は、関数呼び出しやリモート MCP ツールを通じてすでに UI 操作を公開しているアプリケーションであれば、そのインターフェースを使い続けてもよいと述べている。OpenAI は、JavaScript/Playwright と Python/PyAutoGUI による実装を含む CUA サンプルアプリを公開している。
適用される場面
コンピュータ操作を行うエージェントは実際の画面環境の中で実際のアクションを行うため、両ベンダーともこれを通常の関数呼び出しツールよりリスクが高いものとして扱っており、そのガイダンスは四つの管理策に収束している。
環境を制限する。 Google は、ホストシステムではなく、権限を制限したサンドボックス化された VM、コンテナ、または専用のブラウザプロファイルを使うこと、さらにエージェントが移動できる先を定める許可リストと拒否リストを設けることを推奨している。OpenAI は隔離されたブラウザまたは VM と、サイトとアクションの許可リストを求め、アクセスをタスクに必要な範囲に限定するよう求めている。
画面上の内容を信頼できないものとして扱う。 OpenAI はこの原則を直接述べている。ページ、文書、ツール結果の中のテキストは、権限を与えることもユーザーの指示を上書きすることもできない。Google の安全性ガイダンスは同じ点を脅威の側から述べている——ユーザーに代わって行動するモデルは、画面上で信頼できないコンテンツに遭遇する可能性がある——そして Gemini 3.5 Flash 以降のモデルでは、スクリーンショットに基づいて行動する前に、そこに隠された敵対的な指示がないかをスキャンする機能をオプトインで提供している。これは 間接プロンプトインジェクション が画面を介して現れる形態である。
重大な結果を伴うアクションを確認する。 Gemini の実装は、アクションを require_confirmation とマークするか、完全にブロックする safety_decision を返すことができ、金融取引、機密データの変更、アカウントの作成、法的合意への同意といった組み込みのカテゴリを対象とする。OpenAI は、購入、データの送信、破壊的な変更や元に戻しにくい変更について、ユーザーが制御を保つよう求めており、フォームへの機密情報の入力もデータの送信に含めている。
実行に上限を設け、結果を検証する。 OpenAI は、ステップ数・時間・コストの上限、キャンセルへの対応、そしてモデルの最終的な回答に頼るのではなくアプリケーション内で実際の結果を確認することを推奨している。Google がこれに並行して推奨しているのは、ユーザーが入力したテキストをプロンプトに到達する前にサニタイズすること、そしてプロンプト、スクリーンショット、実行されたアクションを後の監査のために記録することである。さらに Google は、自社の Gemini 実装を「エラーやセキュリティ上の脆弱性を含む可能性がある」プレビュー段階の機能として文書化しており、重要な意思決定、機密データ、重大なエラーを修正できないアクションに使うことは推奨していない。
三つ目のベンダーの記述は、こうした能力の使い方ではなく、その一つが提供される前に何が起きたかを付け加えている。Claude のためのセーフガードの構築 は、Anthropic が自社のコンピュータ操作ツールについてリリース前に行った評価で、この能力がスパムの生成と拡散を助長しうると判断したこと、そしてそれを受けて——リリース前に——新たな検出手法と執行メカニズムを開発したことを報告している。その中には、不正利用の兆候を示すアカウントに対してツールを無効化する選択肢や、プロンプトインジェクションからユーザーを守る新たな保護策が含まれる。したがって、上に挙げたベンダー側の管理策が、コンピュータ操作のデプロイを統制するもののすべてではない。その一部は、開発者の設定の外側にある、プロバイダー自身のサービス提供経路の中で強制される（ガードレール を参照）。
この記述は、二つの実装ガイドが主張するリスクの位置づけを裏づける証拠でもある。実装ガイドが一般原則としてサンドボックス化や画面を信頼しないことを推奨しているのに対し、この記述は、リリース前に能力をテストすることで見つかった具体的な悪用経路と、それに対して実際に提供された対応を報告している。