エージェント型ツール利用とは、エージェント型システムにおいて行動を実際に動かす仕組みである。推論の中核として働く言語モデルが、API、データベース、コードインタプリタなどの外部ツールを呼び出すことで、検索を通じて最新の知識にアクセスし、プログラムによる実行を通じて計算の正確さを高め、外部システムを通じて現実世界の操作を行えるようにする。大規模言語モデルにおけるエージェント型ツール利用：サーベイ は、その動機を、標準的なモデルが単独ではできないことから説明している。モデルの知識は学習データに縛られており、それが事実の誤りやハルシネーションを生むことがある。またモデルは、リアルタイムの情報にアクセスすること、正確な計算を実行すること、外部システムと確実にやり取りすることに苦労する。
用法
このサーベイは、この実践を、最適化のシグナルがどこから来るかによって区別される三つのパラダイムに整理し、それらを順に置き換わっていくものとしてではなく、互いに補完し合うものとして並べて示している。
- プラグ・アンド・プレイとしてのプロンプティング。 モデルのパラメータは固定されたままで、ツール利用の振る舞いは指示、デモンストレーション、環境からのフィードバックによって引き出される。サーベイはこれをさらに、推論と行動の交互実行（熟考と外部操作を交互に行い、各観測を次の判断の手がかりとするループ）、計画と実行の分離（まず構造化された計画を作り、それを実行することで、各ステップでの繰り返しの熟考を減らす）、プログラム支援推論（中間表現がテキストから実行可能なコードへ移り、プログラム実行器が補助的なユーティリティではなく推論過程の一部となる）に細分している。
- 教師ありツール学習。 ラベル付きまたは合成された教師データを用いて、ツール利用のパターンをモデルのパラメータに直接符号化する。サーベイはこれを、プロンプトエンジニアリングからデータエンジニアリングへの移行として位置づけている。その三つの流れは、自己教師ありのデータ生成、幅広い API コーパスにわたる大規模なインストラクションチューニング、そしてツール呼び出しの正しさだけでなく、そこに至る推論を最適化するプロセス指向またはアライメント重視のチューニングである。
- 報酬駆動のツールポリシー学習。 ツール利用を、模倣ではなく環境からのフィードバックを通じて最適化される逐次的な意思決定問題として扱う。その流れは、戦略的な意思決定の最適化（ツールを呼び出すべきか、内部の知識に頼るべきか）、複数ターンのやり取りにわたるエンドツーエンドのポリシー学習、そしてメモリモジュールやツール選択器を含むエージェントシステム全体を一つのポリシーとして最適化する、全体論的またはマルチモーダルなフレームワークである。
同じサーベイは、評価を横断的な次元として扱い、パラダイムと共進化してきたという三つのレベルを挙げている。ツール利用の正しさ（モデルが構造的に妥当な呼び出しを生成できるか、適切なツールを検索・選択できるか、そもそもツールが必要かどうかを判断できるか）、タスクの完了（ツールを解決策の機能的な構成要素として使い、エンドツーエンドのタスクをやり遂げられるか）、そしてツール駆動のインタラクション（自らの行動が外部世界を変える動的で状態を持つ環境において、敵対的な条件下も含め、確実に行動できるか）である。
適用される場面
- タスクが、モデルのパラメータでは提供できない情報、計算、作用、すなわち最新の知識、正確な算術、外部システムへの変更を必要とする場合に当てはまる。サーベイの捉え方では、これらはモデルが得意とすることと実運用が求めることとの間に繰り返し生じるずれであって、たまたま生じた欠落ではない。
- モデルが正しく扱えるようにできるツールの面（サーフェス）があることを前提とする。サーベイの評価のセクションは、スキーマへの準拠、大きな候補プールからの検索、正しい引数のグラウンディングを、それぞれ独立に失敗しうる別々の能力として扱っており、それが診断用ベンチマークとエンドツーエンドのベンチマークを分けている理由である。
- 失敗の仕方はパラダイムによって異なり、それが三つすべてを視野に入れておくべきだというサーベイの論拠である。プロンプティングは柔軟で導入も安価だが、レイテンシとトークンコストが高く、長い期間にわたると脆くなる。教師あり学習はより効率的で安定しているが、大規模で高品質な軌跡データを得られるかどうかに依存する。報酬駆動の学習は探索と誤りからの回復に対処できるが、初期の誤りが波及していく長い軌跡にわたる信用割り当ての問題に直面する。
- 必要のない場面で適用した場合にも失敗する。サーベイは、以前のベンチマークの多くがツールを呼び出すべきだと暗黙に想定していたことを指摘し、ツールが利用可能であっても、不要な呼び出しが全体の性能を低下させうることを示した研究を報告している。ツールを 使わない と判断することが正しさの一部として扱われるのはそのためである。
- 充実したベンチマークのエコシステムを持つ研究領域として十分に確立しているが、サーベイは、本番品質のシステムは三つのパラダイムすべてを組み合わせることになるという自らの統一的な主張が、測定された結果ではなく著者らの総合的な見解であることを明言している。