このプレプリントは、寧波東方理工大学（Eastern Institute of Technology, Ningbo）、中国科学技術大学、香港理工大学の研究者によるもので、エージェント型ツール利用 のためのツール学習における、著者らが「断片化問題」と呼ぶものを扱っている。著者らはこれを 3 つの次元で説明する。表現の不整合（データセットがツール呼び出し、引数、観測結果を互換性のないスキーマで符号化しているため、共同学習が難しい）、構造的な不完全さ（既存のパイプラインは直列と並列のツール呼び出しの区別をほとんど考慮していない）、評価のミスマッチ（ベンチマークがばらばらのプロトコル、ツール定義、スクリプトに依存しており、データセット間の公平な比較ができない）である。
UniToolCall はこれに対し、パイプライン全体を 1 つの Query–Action–Observation–Answer（QAOA）表現のもとで標準化する。まず、学術ベンチマーク、Model Context Protocol サーバー（収集時点で mcp.so に掲載されていた上位 40 件と、MCP-Universe で使われている 11 件）、そして本論文自身のデータセットのツール定義からツールプールを集め、すべてのツールを JSON Schema 形式に正規化する。そのうえで、完全一致による重複排除、スキーマが時間的な属性に依存するツールの除去、スキーマ検証、埋め込みに基づく意味的な重複排除によってプールを絞り込み、6 つの機能カテゴリーと 13 のアプリケーションドメインに整理された 22,606 件のツールを残す。このプールの上に 390,060 件の学習コーパスを構築する。内訳は、標準化した 10 の公開データセットから残した 387,123 件の会話と、Qwen3-32B が生成・自己評価した 2,937 件の合成軌跡である。合成軌跡はシングルホップ、マルチホップ、マルチターンの各シナリオに均等に分けられ、直列実行か並列実行かを明示的に制御している。合成軌跡は「Hybrid-20」候補リスト ── 正解ツール、埋め込みの類似度で検索したハードネガティブ、ランダムな 5 件のイージーネガティブの計 20 候補 ── を用いて組み立てられ、主評価も同じ設定を用いる。
評価では、7 つの公開ベンチマークを QAOA に変換して 6,163 件の会話を得て、関数呼び出し・ターン・会話の各レベルで 4 つの指標により採点する。ツール選択については Strict Precision と Flexible Precision、引数については Strict Parameter Accuracy と Flexible Parameter Accuracy である。予測された呼び出しは、まず決定的な正規化の後にルールベースの完全一致で照合され、次に閾値 0.7 の ROUGE-L 類似度で照合される。主モデルは LoRA でファインチューニングした Qwen3-8B で、GPT-5.2 Instant、Gemini 3 Flash Preview、Claude 4.6 Sonnet、Kimi-K2-Instruct、DeepSeek-V3.2、Qwen3-32B と比較されている。
要点
- 本論文は、マルチターンデータを合成するための制約として Anchor Linkage を提案している。これは、2 ターン目以降の各ユーザークエリに、取引 ID、座標、返されたパラメーター値といった具体的な状態を前のターンから明示的に引き継ぐことを求めるものである。再試行のたびにソフトなヒントからハードな包含制約へと強めていくプロンプティング、正規表現に基づくチェックと、失敗時にアンカーをクエリの先頭に付加するフォールバック、そして LLM が採点するアンカー評価基準による最終ゲートを組み合わせている。
- 著者らの報告によれば、このような制約がないと、生成器は局所的には流暢でも互いにつながりのないターンを生成し、しかもこの失敗は汎用的な品質スコアでは減点されない。制約の有無で 10 件のマルチターン軌跡を比較したところ、明瞭さ、自然さ、成功のスコアの変化は −0.25〜+0.21 にとどまった一方で、アンカースコアは 0.85 低下した。
- Hybrid-20 設定のもとで、ファインチューニングした Qwen3-8B はシングルホップで 92.9%、シングルターンで 93.0% の Strict Precision を達成し、比較したモデルの中で厳密なツール選択スコアが最も高かった。マルチホップ設定では Strict Precision と Flexible Precision（80.7% と 89.6%）で 2 位であり、マルチホップのパラメーター精度では Claude 4.6 Sonnet が依然としてこれを上回っていた。
- 厳密なマルチターンでの成功は未解決のままである。ファインチューニングしたモデルを含むほぼすべてのモデルが、会話レベルのマルチターン Strict Precision で 0.0% だった。1 回の誤った呼び出しでエピソード全体が 0 点になるためである。BFCL v3 のマルチターン会話 30 件では、2 ターン目の時点でまだ完全に正しい対話の割合は、素の Qwen3-8B で 3.3%、ファインチューニングしたモデルで 50.0% だった。ファインチューニングしたモデルは、最初の誤りとしての形式・パースの失敗もなくした（30.0% から 0.0%）。
- 公開されているツール利用コーパスは、並列で独立した呼び出しに偏っている。マルチホップデータの直列対並列の比率は、公開サブセットでは 1:5.7、合成データでは 1:1.9 であり、フィルタリング後の BFCL v3 のマルチホップ分割には並列のインスタンスが 141 件あるのに対し、純粋に直列のものは 3 件しかなかった。著者らは、合成データを公開データの規模やドメインカバレッジの代替ではなく、逐次的な構造を補うものと捉えている。
- 単一の合成構造で学習すると主にその構造にしか効かない一方、合成データを混合したカリキュラムは、どの均質なサブセットよりもむらの少ない汎化をもたらした。
- 2 万件という同一のインスタンス予算のもとで、このレシピは 0.6B から 14B までの Qwen3 モデルと、Qwen 以外の 2 つのバックボーン（Gemma-3-4B-it と Llama-3.2-3B-Instruct）において、シングルホップとシングルターンの Strict Precision を改善した。改善幅のばらつきは主にマルチホップで見られた。また、テスト用 API を学習時の候補から除いて学習したモデルは、それらに触れたモデルと同じマルチホップ Strict Precision（22.4%）を記録した。
補足
本論文は自身を ToolACE、ToolMind、ToolFlow、TRAJECT-Bench と比較し、いずれも異種の公開リソースを共通の表現に変換し、共通の多粒度の指標群を備えるものではないと論じている。一方で、TRAJECT-Bench は UniToolCall にはない軌跡レベルの診断とエージェント的な評価を提供していることを認めている。評価のために変換されたベンチマークには Berkeley Function Calling Leaderboard（BFCL）（BFCL v3）が含まれ、ツールプールは Model Context Protocol のサーバーを取り込んでいる。
著者らが述べる制約としては、最大コンテキスト長が 8,192 トークンであるため非常に長いやり取りや大きなツール出力が制限されること、静的な正解との照合による採点のためリアルタイムのエラー回復や方針の修正を捉えられないこと、変換によって各ベンチマーク固有の機能が失われうること、そして不足している引数を追加のターンで聞き出す、対話的なマルチターンのパラメーター補完を対象外としていることが挙げられる。著者らは、ライブのツール実行を伴う動的なエージェントのやり取りへとフレームワークを拡張することを計画している。ここで抽出したバージョンは arXiv:2604.11557v3 である。