言語モデルは学習のカットオフ時点で知識が固定される一方で、ソフトウェアエンジニアリングの実践は速く変化するため、モデルが自力では埋められないギャップが生じる、と論じる Google for Developers の記事である。著者らは Google DeepMind で観察している例を挙げる。自分たちのモデルは学習時点では自分自身について知らず、ベストプラクティスの微妙な変化や SDK の変更にも必ずしも気づいていない。著者らは Agent Skills を、このギャップに対する軽量で最近のアプローチとして位置づける。これは、Web 検索ツールから専用の MCP サービスまで、著者らが既に存在すると述べる多くの解決策のうちの 1 つである。
著者らはモデル開発者としてこの問題に取り組むのではなく、どの SDK メンテナーにでもできることを示そうとし、Gemini API の開発者向けスキル（Gemini API 開発者スキル を参照）を構築してその効果を計測したことを報告する。記事の貢献はこの計測にある。すなわち、著者らがこの目的のために構築した評価ハーネスと、スキルは機能するがモデルの推論能力に依存することを示していると著者らが読み取る一連の結果である。
要点
- 著者らはこの問題を、固定された学習カットオフと、急速に変化するライブラリやベストプラクティスとの間で生じる知識のギャップとして捉え、Google DeepMind において、自分たちのモデルが自分自身についても SDK の変更についても知らないという形でそれを観察していると報告する。
- 著者らが構築したスキルは、API の高レベルな機能セットを説明し、言語ごとに現行のモデルと SDK を記述し、各 SDK の基本的なサンプルコードを示し、信頼できる情報源としてドキュメントの入口を列挙する。著者らはこの設計を、スキルに書かれている内容に頼るのではなく、ドキュメントから最新の情報を取得するようエージェントを促しもする、原始的な指示だと説明している。
- 著者らは、Gemini SDK を対象に Python または TypeScript のコードを生成させる 117 個のプロンプトからなる評価ハーネスを構築した。対象はエージェント型コーディングのタスク、チャットボット、文書処理、ストリーミングコンテンツ、特定の SDK 機能にわたる。生成されたコードが旧い SDK のいずれかを使っている場合、そのプロンプトは失敗とみなされる。
- テストは「バニラ」（モデルに直接プロンプトを与える）とスキルを有効にした状態の両方で実行された。スキルありの条件では、Gemini CLI が使うのと同じシステム指示と、
activate_skillとfetch_urlの 2 つのツールがモデルに与えられた。 - 著者らが報告する主要な結果は、Gemini 3 シリーズはスキルを追加すると優れた結果を達成し、スキル なし の低いベースラインから出発するというものである。著者らが示すスキルなしの数値は 3.0 Pro と Flash がともに 6.8%、3.1 Pro が 28% である。一方、旧い 2.5 シリーズの恩恵ははるかに小さい。著者らはこれを、強力な推論能力こそが違いを生むことを示すものと読んでいる。これらは著者ら自身のスキルを著者ら自身の SDK に対して計測した著者ら自身の計測値であり、記事はスキルありの数値をグラフでしか示していない。
- 領域別に見ると、最も性能のよいモデル（
gemini-3.1-pro-preview）ではスキルはほぼすべてのカテゴリで役立ち、最も低かったのは SDK Usage の合格率 95% であった。著者らは際立った理由はないとしつつ、失敗の中には Gemini 2.0 のモデルを明示的に要求するプロンプトが含まれていたと指摘している。 - 記事は 2 つの限界を挙げる。著者らは Vercel の研究を引いて、
AGENTS.mdによる直接の指示のほうがスキルよりも効果的な場合があると述べ、ドキュメント用の MCP など、最新の SDK 知識を供給する別の方法を探っていると述べている。 - 2 つ目の限界は保守である。著者らは、ユーザーに手動での更新を頼む以外に、スキルを更新するよい方法がないと述べ、長期的にはこれによりユーザーのワークスペースに古くなったスキル情報が残り、益よりも害のほうが大きくなりうると警告している。
背景
これはベンダーが自社のスキルについて述べたものであり、同じ著者らが書いたハーネスを使って自社の SDK に対して評価されている。また、失敗の基準（旧い Google SDK を使うこと）もベンダー自身の製品ラインに基づいて定義されている。比較はスキルありのモデルとスキルなしのモデルとの間のものであり、スキルと記事が言及する代替手段との間のものではない。そのため、AGENTS.md に関する Vercel の相反する知見を記事自身が指摘しているものの、それはここでは検証されていない。
著者らが提起する保守の問題は、スキルが対処する知識のギャップとは別の懸念であり、スキルの効果を損なう方向に働く。エージェントを最新の状態に保つために導入された仕組みそのものが、ユーザーのワークスペースの中で古くなりうるのである。エージェントに常設のファイルベースの指示を与えるというより広い実践は AGENTS.md で、その根底にある懸念は コンテキストエンジニアリング（コンテキストエンジニアリング）で扱われている。