GitHub のブログに掲載された、Copilot Applied Science チームのシニア応用研究者による記事である。著者は Terminal-Bench や SWE-Bench Pro といったベンチマークに照らしてコーディングエージェントの性能を分析している。この仕事では、エージェントの軌跡、つまりエージェントが各タスクで行う推論と行動の記録を読む必要があり、その量は著者によれば数十万行に及ぶ。著者は、パターンを浮かび上がらせてから手作業で調べるために GitHub Copilot を繰り返し使ってきたが、そのループを eval-agents として自動化した。これは、その分析を行うエージェントを構築・共有するためのツールである。
記事の論点は、そのツールそのものよりも、それをどう構築したかにある。設計上の目標はコーディングエージェントをプロジェクトの主要なコントリビューターにすることであり、著者は、そのためにプロジェクトを整えたことが、人間にとっても使いやすく拡張しやすくすることにつながったと報告している。繰り返し述べられる主張は、人間のエンジニアを有能にするもの、つまり明確なコンテキスト、クリーンなアーキテクチャ、テスト、ドキュメント、ガードレールは、コーディングエージェントも有能にする、というものである。
要点
- 著者の環境は、VS Code 上で Claude Opus 4.6 を用いた GitHub Copilot CLI で、Copilot SDK（記事によれば Copilot CLI を基盤としている）が既存のツールや MCP サーバー、そして新しいツールやスキルを登録する手段を提供していた。
- プロンプト：記事は、会話的かつ冗長に書くこと、そしてエージェントモードの前に計画モードを使うことを勧める。簡潔な問題文を与えるのではなく、エージェントを 1 人のエンジニアのように扱い、その思考を導き、前提を過剰なほど説明するということである。
- 一例として、Copilot が自らの変更に合わせてテストを書き換えてしまう問題について計画モードでプロンプトを与えたところ、著者は Copilot とともに、人間だけが更新できるコントラクトテストに似たガードレールにたどり着いた。
- アーキテクチャ：エージェントファーストのリポジトリでは、リファクタリング、ドキュメント作成、テストの記述、デッドコードの整理が最も重要な作業になる。これらこそがエージェントにコードベースを把握させるものだからである。著者は、その土台が整えば機能の提供は取るに足らないものになると述べる。
- 反復：著者は「信頼せよ、されど検証せよ」から「エージェントではなくプロセスを責めよ」へと考えを移した。これはブレームレス文化をモデルにしたもので、エージェントが誤りを犯したら、テストやより良いプロンプトなどのガードレールを追加して、同じ誤りを繰り返せないようにする。厳格な型付け、堅牢なリンター、そして統合テスト・エンドツーエンドテスト・コントラクトテストは、エージェントが自らの作業を検証する手段として示されている。
- 提案される開発ループ：
/planで機能を計画し（テストや、コードより先に行うドキュメント更新も含める）、/autopilotで実装し、関連するコメントがなくなるまで Copilot に Copilot Code Review エージェントとのレビューループを回させ、最後に人間がレビューする。 - このループとは別に、著者は定期的な
/planプロンプトを実行している。欠けているテストや壊れたテスト、デッドコードについて、重複について、そしてcopilot-instructions.mdを含むドキュメントの不足についてのもので、毎週スケジュールで、しばしばそれ以上の頻度で実行している。 - 報告されている成果：初めてプロジェクトに参加した 5 人で、チームは 3 日足らずのうちに 11 の新しいエージェント、4 つの新しいスキル、そして eval-agent ワークフローという概念を作り上げた。変更は 345 ファイルにわたる +28,858/−2,884 行である。これは著者自身によるチームの作業の報告であり、測定された比較ではない。
背景
記事は一貫して、コーディングエージェントを新人エンジニアになぞらえて捉えている。うまくオンボーディングし、コンテキストを与え、誤りが大惨事にならないようにガードレールを築く、ということである。そして、技術は新しいが原則は新しくない、という主張で締めくくっている。この記事は、AGENTS.md 形式の指示ファイルや ガードレール など、コードベースをエージェント向けに整えることを扱う他の文章と並ぶものである。その根拠は社内ツールにおける 1 チームの経験であり、推奨しているツールのベンダーに所属する人物によって書かれている。