PricewaterhouseCoopers の Commercial Technology and Innovation Office に所属する 4 人の著者による本論文は、プログラマティックツール呼び出し が正確性を損なうことなくネイティブの JSON ツール呼び出しに取って代わりうるかどうかを検証する。本論文は、CodeAct を含む先行研究について、JSON のツール呼び出しよりも実行可能なコードのほうが優れているという主張を示したものの、両者を標準化されたベンチマーク上でモデルファミリーをまたいで評価してはいなかったと位置づける。そして、正確な引数のシリアライズ、多段階の連鎖、異種の API にまたがるファンアウトを必要とすることから、より難しい検証対象として関数呼び出しを選んでいる。
評価には、8 つのタスクカテゴリーにまたがる Berkeley Function Calling Leaderboard（BFCL） v4 の代表的な 309 エントリーのサブセットを用い、実行された呼び出しを正解と決定論的に比較して採点する。モデルは、2024 年 11 月から 2026 年 7 月までにリリースされた Anthropic と OpenAI の 14 モデルで、すべて temperature 0 で実行した。プログラマティックの条件では、モデルはベンチマークの関数スキーマからコンパイルされた型付きの Python スタブモジュールのソースを受け取り、1 つのスクリプトを書く。エージェントループはそれをシェルのサブプロセスで実行し、その後停止用のミドルウェアがループを終了させるため、どちらのパラダイムでもエントリーあたりの LLM 呼び出しの回数は同じになる。3 つのアブレーションは、JSON ツール呼び出しの限界が最もよく指摘されるタスク構造を対象としている。逐次的な連鎖（52 エントリー、連鎖長 2〜20）、並列ファンアウト（32 エントリー、7〜48 回の呼び出しに加え、最大 100 回までのプローブ用エントリー）、そして無関係なドメインのおとりの関数スキーマでコンテキストを 128 スキーマまで氾濫させる コンテキストロット（各条件 31 エントリー）である。
要点
- BFCL v4 のメインのサブセットでは、プログラマティックツール呼び出しは 14 モデル中 11 モデルで JSON ツール呼び出しと同等以上であった。GPT-5.6-Sol と GPT-5.6-Terra は、それぞれ自身の JSON のベースラインに対して 10.6 ポイント向上した。
- 著者らは、実用性がモデルファミリーではなくモデルの世代によって決まっていたと報告している。Anthropic の 5 モデルすべてと最新の GPT-5.6 の 3 つの派生モデルはベースラインと同等以上であった一方、GPT-4o、GPT-4.1、GPT-5.4-mini はベースラインを 19.7〜26.9 ポイント下回った。この 3 モデルの失敗は一貫しており、実際の改行ではなくリテラルの
\nエスケープシーケンスを書いたため、複数行のスクリプトはすべて構文エラーで失敗した。 - 連鎖のアブレーションでは、Claude Sonnet 5 の向上が最も大きく（80.8% から 96.2%）、Claude Opus 4.8（80.8% から 94.2%）がそれに続いた。一方、GPT-4.1 は同じ改行の失敗によって 98.1% から 40.4% へと急落した。JSON ツール呼び出しはステップごとに追加の推論ターンを必要とするため、プログラマティックツール呼び出しは 14 モデル中 13 モデルで、連鎖のエントリーをベースラインのおよそ半分の実時間で完了した。例外は GPT-5 で、ベースラインの 2.8 倍のレイテンシであった。
- 並列ファンアウトのアブレーションでは、14 モデル中 13 モデルでベースラインと同等以上であり、GPT-5 は 71.9% から 96.9% に上昇した。Claude Sonnet 5 をプローブすると、JSON での列挙の正確性は 70 回の呼び出しまでは 100%、72 回で 75%、100 回で 0% であった一方、プログラマティックツール呼び出しは 72 回でも 100 回でも 100% を維持した。GPT-5.6-Sol は JSON でも 100 回の呼び出しまで 100% を維持したため、著者らはこの限界を、JSON ツール呼び出し一般ではなく、Anthropic のモデルが並列のツール呼び出しブロックをシリアライズする方法に帰している。
- コンテキストの氾濫の下では、フィルタリングされたコンテキストから氾濫したコンテキストへの平均変化は、JSON ツール呼び出しで −2.3 ポイント、プログラマティックツール呼び出しで +5.5 ポイントであった。内部的な参照点としてのみ含められたファイルシステムベースの探索の条件は 32.0 ポイント低下した。
- トークンコストは約 26 回のファンアウト呼び出しで逆転した。それ未満では、固定のシステムプロンプトのオーバーヘッドのためにプログラマティックツール呼び出しのほうがコストが高く、連鎖のアブレーションでは JSON ツール呼び出しの 1.5 倍の入力トークンを使った。
- いくつかのモデルは、列挙の呼び出しを実行せずにパラメトリックな知識から集計の質問に答えたため、著者らは、ツールが実際に呼び出されたかどうかの主要な指標として列挙の正確性を扱っている。
補足
14 モデルすべての平均では、プログラマティックツール呼び出しは parallel と parallel_multiple のカテゴリーで JSON ツール呼び出しを 14.1 ポイント下回り、live_multiple では 10.0 ポイント上回った。著者らは並列カテゴリーでのこの差を、主に改行の失敗を起こした 3 つの OpenAI モデルに帰している。著者らは 4 つの限界を挙げている。ベンチマークのスタブは実際の API を実行せず引数をそのまま返すため、この研究が測定しているのは引数のシリアライズであって、戻り値が後続の呼び出しに渡されるエンドツーエンドのツール利用ではないこと。アブレーションは小規模（31〜52 エントリー）であり、個々のモデルの結果は傾向を示すにとどまること。ベンチマークの正解ラベルにはノイズが含まれうること。そしてプログラマティックツール呼び出しには固定の入力トークンのオーバーヘッドがあることである。GPT-5.6 ファミリーのメイン評価での向上幅は、要旨では 10.6%、結論では 10.7% と記されている。