Devin’s 2025 Performance Review は、Cognition チームが 2025 年 11 月 14 日に公開した記事であり、自社の自律型コーディングエージェント Devin をローンチから 18 か月後に、人間のエンジニアに対する年次評価の形式を借りて評価している。記事によれば、Devin は現在数千社のエンジニアリングチームで働いており、数十万件のプルリクエストをマージしてきた。
Cognition は、当初 Devin を従来のエンジニアリングのコンピテンシーマトリクスに位置づけようとしたが、それは難しかったと説明している。人間のエンジニアは 1 つのレベルの周辺に集まる傾向があるのに対し、Devin はコードベースの理解ではシニアレベルだが実行ではジュニアであり、無制限のキャパシティを持つ一方でソフトスキルには苦戦する。そのため記事は代わりに、実際の導入で観察された強みと弱みを、Cognition が顧客によるものとする事例や指標とともにまとめている。記事中のパフォーマンスや顧客に関する指標は、ベンダーが自社製品について報告しているものである。
要点
- Cognition が挙げる 1 つ目の強みのパターンは「無限の規模でのジュニアの実行」である。Devin が最も力を発揮するのは、要件が明確に事前に定まり、結果を検証でき、ジュニアエンジニアなら 4〜8 時間かかるようなタスクであり、人間と違って制限なく並列に実行できる。
- 記事はこのカテゴリに、脆弱性の修正、言語やフレームワークの移行、ユニットテストの作成、小さなチケットを含め、これらを重要だが創造性の低い作業であり、人間のエンジニアをよりインパクトの大きいプロジェクトに振り向けられるものだと説明している。
- 移行について記事は、各リポジトリをどう更新するかの指示を Devin に与えれば、Devin の一団がすべてのリポジトリにわたって並列に変更を実行できると述べ、顧客の事例として、ある銀行の独自 ETL フレームワークの移行と Java のバージョンアップグレードを挙げている。
- テスト生成は分業として説明されている。人間が数百のリポジトリにまたがるユニットテストのプレイブックを書き、Devin の一団がテストを書き、その後コードオーナーがすべてのロジックがテストされていることを確認する。Cognition は、顧客のテストカバレッジが典型的には 50〜60% から 80〜90% に上がると報告している。
- Cognition の報告によれば、過去 1 年で Devin は問題解決が 4 倍速くなり、リソース消費の効率が 2 倍になった。また、プルリクエストの 67% がマージされるようになり、1 年前の 34% から上昇した。
- ブラウンフィールドでの機能開発について記事は、既存のコードが明確なパターンを示している場合には Devin はコードを複製・修正でき、Cognition 自身の Web アプリではコミットの約 3 分の 1 を Devin がプッシュしたと述べている。
- 記事はプルリクエストのレビューにおける Devin の役割を、明らかな問題を見つける一次チェックに限定し、コードの品質は簡単には検証できないため人間によるレビューが依然として必要だと述べている。
- データ分析と品質保証は予想外に強い用途として説明されており、ユーザーが Slack から Devin に質問したり、ダッシュボードの作成を依頼したりしているという。
- 2 つ目の強みのパターンは「オンデマンドのシニアの知性」である。Cognition によれば、Devin は大規模なコードベースの理解が大きく向上しており（同社の説明では、これがマージ率が倍増した要因の 1 つである）、そのため DeepWiki を通じて大規模なコードベースをドキュメント化し、チャットインターフェースを通じてエンジニアの計画を支援できる。このインターフェースは、アーキテクチャ図を用いてシステムを説明し、依存関係を洗い出し、破壊的変更を指摘し、何を人間が行い何を AI が行うべきかを推奨する。
- 1 つ目の改善点は曖昧な要件である。記事は、シニアエンジニアにできるように自らの判断で曖昧なコーディングプロジェクトを最初から最後まで独力でこなすことは Devin にはできないと述べ、その例として、コンポーネント構造、カラーコード、余白の値といった具体的な指定を必要とするビジュアルデザインを挙げている。
- 2 つ目はスコープの変更である。Devin は明確な事前のスコープ設定にはうまく対応するが、タスクの開始後に追加の指示を受けると通常はパフォーマンスが落ちる。記事はこれを、反復的な問題解決を通じてコーチングできる人間のジュニアと対比している。そして、エンジニアは作業のスコープを事前に定めることにより大きな責任を負い、Devin を「マネジメント」することを学ばなければならないと結論づけている。
- 3 つ目はソフトスキルである。Devin は Slack、Teams、Jira で協働するが、部下やステークホルダーをマネジメントしたり、チームメイトの感情に対処したりすることはできない。
背景
この記事はベンダーによる自社製品についての説明であり、最後は読者に Cognition の営業チームへの問い合わせを促して締めくくられている。記事中の顧客の成果は、顧客自身ではなく Cognition によって報告されたものである。記事が述べる弱みと強みは同じ条件に基づいている。記事によれば、明確で検証可能な要件こそが Devin が成功する場面であり、曖昧な要件や変化する要件こそが Devin が及ばない場面である。
2026 年に向けて Cognition は、実世界のコードベースに対する Devin の理解をさらに高め、その文脈を使ってエンドツーエンドのソフトウェアエンジニアリング作業でエンジニアと協働できるようにする取り組みを続けると述べており、日々の開発で Devin をより指示しやすくするためにユーザー体験にも投資している。