Introducing Devin, the first AI software engineer は、Cognition が 2024 年 3 月 12 日に Devin を発表した記事である。記事は Devin を、エンジニアと並んで開発することも、エンジニアがレビューするタスクを独力で完了することもできる、疲れを知らない熟練のチームメイトとして提示し、これによってエンジニアはより興味深い問題に集中でき、エンジニアリングチームはより野心的な目標を目指せるようになると論じている。
記事は、能力の説明、一連のデモンストレーション、ベンチマークの結果、そして会社についての短い説明で構成されている。執筆時点で Devin は早期アクセスの段階にあり、Cognition が提供能力を拡大する間はウェイトリスト制がとられていた。
要点
- Cognition は、数千もの判断を要する複雑なエンジニアリングタスクを Devin が計画・実行できるのは、長期的な推論と計画における同社の進歩によるものだとし、Devin はあらゆるステップで関連するコンテキストを想起し、時間とともに学習し、誤りを修正できると述べている。
- Devin にはサンドボックス化された計算環境の中で、シェル、コードエディタ、ブラウザという一般的な開発者ツールが備わっており、記事はこれを人間がその作業をするのに必要なものすべてだと説明している。
- 記事は自律性だけでなく協働も強調している。Devin は進捗をリアルタイムで報告し、フィードバックを受け入れ、必要に応じてユーザーとともに設計上の選択を検討する。
- デモンストレーションでは、Devin がブログ記事から未知の技術を学ぶこと、ユーザーが求める機能を追加しながらインタラクティブな Web アプリを構築・デプロイすること、オープンソースプロジェクトのバグを見つけて修正すること、研究リポジトリへのリンクから大規模言語モデルのファインチューニングを準備すること、リンクだけを渡された GitHub の issue に対応すること、Upwork に掲載されたフリーランスの仕事を完了することが示されている。
- 記事が、オープンソースプロジェクトの実際の GitHub の issue をエージェントに解決させるものだと説明する SWE-Bench において、Cognition は、Devin が issue の 13.86% をエンドツーエンドで解決したと報告している。それまでの最高水準は 1.96% であり、従来の最良のモデルは編集すべきファイルを正確に与えられた場合でも 4.80% の解決にとどまったという。
- 記事自身がこの比較に留保を付けている。Devin はデータセットの無作為な 25% のサブセットで、支援なしで評価されたのに対し、他のモデルは支援あり、つまりどのファイルを編集する必要があるかを正確に知らされていた。Cognition は、より詳細な技術レポートを後に公開するとしている。
背景
これはベンダーによるローンチ告知であり、そのベンチマークの数値は、記事自身が述べているとおり、ベンチマークのサブセットで行った自社の評価についての Cognition 自身による報告である。「初の AI ソフトウェアエンジニア」という言い回しは、記事による自社製品の打ち出し方である。
記事の結びでは、Cognition を「AI チームメイト」を構築している、推論に注力する応用 AI 研究所として説明し、コードは同社がそうしたチームメイトにさせたいことの始まりにすぎないと述べている。