Ruanqianqian (Lisa) Huang、Avery Reyna、Sorin Lerner、Haijun Xia、Brian Hempel（コーネル大学、カリフォルニア大学サンディエゴ校、および独立研究者）による論文で、経験豊富な開発者（少なくとも 3 年のプロとしての開発経験を持つ者と定義される）が AI エージェントを使って実際にどのようにソフトウェアを作っているかを問う。ここでの「エージェント」とは、IDE やターミナルに統合され、コードを直接操作できる AI ツールを指す。先行する バイブコーディング の研究とは異なり、著者らは調査対象をバイブコーディングに限定せず、また経験豊富な開発者のみを調べている。リサーチクエスチョンは、エージェントを取り入れる際にこれらの開発者が何を重視するか、どのような戦略を用いるか、エージェントがどのタスクに適しているか、そしてエージェントとの作業をどう感じているかを扱う。
研究は 2 部構成で、いずれも 2025 年 8 月から 10 月にかけて実施された。第 1 部では、3〜25 年のプロ経験を持つ 13 人の開発者が、普段使っているエージェント環境で自ら選んだタスクに 45 分間取り組みながら思考発話を行い、その後 30 分の半構造化インタビューを受けた。第 2 部では、著者らは AI 関連リポジトリから抽出した 4,141 人の GitHub ユーザーにメールを送り、249 件の回答を得た。AI 生成と判断した 5 件の回答を除外したうえで、条件を満たした 99 人の回答者を分析した。回答者のプロ経験は平均 12.8 年だった。著者らは両パートをテーマ分析で分析し、続いて観察されたプロンプトと、サーベイ回答で言及された 189 件のタスクについて的を絞った分析を行った。
主要な知見はタイトルにある通りで、経験豊富な開発者はバイブコーディングをしない。彼らはエージェントを生産性の向上手段として評価しつつも、ソフトウェアの設計と実装に対する主体性を保持しており、ソフトウェア品質を重視するがゆえに、計画と監督を通じてエージェントの振る舞いをコントロールしている。
要点
- 開発者はエージェントが作業を加速させる点を評価すると同時に、ソフトウェアの品質特性も重視していた。サーベイ回答者 99 人のうち 67 人が、エージェントを使う際の優先事項として正しさや可読性などの品質特性を挙げた。
- サーベイでは Claude Code（99 人中 58 人）、GitHub Copilot（53 人）、Cursor（51 人）が最もよく使われるツールだった。観察では Cursor（13 人中 6 人）と Claude Code（13 人中 4 人）が最も多く使われていた。
- 観察した 13 人の開発者は全員が何らかのレベルで実装をコントロールしており、そのうち 11 人は、自ら計画を書く、エージェントが起草した計画を修正する、あるいは人間が書いた計画をエージェントに磨かせることで設計をコントロールしていた。13 人中 9 人（全員が自分の専門領域内で作業していた）は、エージェントによるすべての変更を注意深くレビューした。
- 計画はコントロールを保つために小さな単位で実行された。2 人の参加者の計画は 70 ステップを超えていたが、どちらもエージェントに一度に 6 ステップより多く実行させることはなく、参加者の中央値はプロンプトあたり 1.8 ステップだった。
- 開発者は、明確なコンテキストと明示的な指示を含むプロンプト、ユーザールール、そして diff を読む、テストする、タスクを分解する、バージョン管理を行うといった確立されたソフトウェアエンジニアリングの実践を通じてエージェントをコントロールしていた。彼らは自身のドメイン専門知識がエージェントを効果的に使ううえで決定的に重要だと述べた。
- サーベイ回答者は、明確に定義された計画とともにプロンプトを与えた場合、エージェントは単純な作業、反復的な作業、スキャフォールディングの作業に適していると考えた。たとえば、生産性の加速（適している 35 人対 適していない 2 人）、小規模または単純なタスク（33:1）、明確に定義された計画に従うこと（28:2）、退屈または反復的なタスク（26:0）、スキャフォールディング（25:0）、ドキュメントの作成（20:0）、テストの作成（19:2）である。
- 複雑さが増すにつれて、エージェントは適していないと判断された。修正や検証なしにコードを一発で生成すること（5:23）、既存コードやレガシーコードとの統合（3:17）、複雑なタスク（3:16）、ビジネスロジックやドメイン知識を要するタスク（2:15）、人間の専門知識や意思決定の代替（0:12）がそれにあたる。完全に自律的な運用にエージェントが適していると答えた回答者はいなかった。
- 高レベルの計画策定やアーキテクチャ設計へのエージェントの利用は、最も意見が分かれた用途だった（適している 13 人対 適していない 23 人）。
- 開発者は総じてエージェントとの作業を楽しんでおり、サーベイ回答者はエージェントなしで作業する場合と比べた楽しさを 6 点満点で平均 5.1 と評価した。ただしそれは、完全な委任としてではなく、人間がループに入った協働の源としてであった。
- 著者らは、経験豊富な開発者がバイブを避ける理由を 4 つ挙げている。エージェントに教え込むのが難しいソフトウェアエンジニアリングの原則を重視していること、実際のステークホルダーを持つ本番ソフトウェアに取り組んでいること、慣れたコードベースでは要件があらかじめ定まっていて探索的なコーディングの余地がほとんどないこと、そして不慣れなドメインではエージェントによる解決策が失敗すると解決に長い時間がかかりうることである。
補足
著者らは妥当性への脅威をいくつか挙げている。サーベイは意図的に AI に好意的な人々に偏らせており、これは戦略やタスク適合性に関する問いには適していたが、感情に関する問いにはあまり適していなかった。観察のサンプルは小さい。観察参加者 13 人中 12 人、サーベイ回答者 99 人中 97 人が自らを男性と申告した。公開されている GitHub のメールアドレスを収集して募集したため、AI/ML リポジトリで活発な開発者に偏っている可能性がある。そして各観察は 1 回 45 分のセッションだったため、長期的な利用や開発サイクル全体は観察されていない。タスク適合性の閾値（「適している可能性がある」とみなすには少なくとも 2.5:1 の比率）は、リフレクシブ（内省的）な分析の一環として著者らの判断で選ばれた。
著者らは、研究以降エージェント型ツールが改良され、タスク適合性が変化している可能性を認めているが、本番ソフトウェアの品質には人間による監督と人間とエージェントの間の明確なコミュニケーションが必要だという中核的な知見は今後も変わらないと見込んでいる。彼らは、エージェントを計画しコントロールするためのより良いインターフェースと、厳密に開発されたベストプラクティスに関する今後の研究を呼びかけており、観察されたパターンが最適ではない可能性にも言及している。
論文は、その結果を バイブコーディング：人工知能との会話を通じたプログラミング や サイコロを振ってソフトウェアを作る：バイブコーディングの質的研究 などのバイブコーディングに関する他の実証研究と並べて位置づけており、これらもバイブコーディングが依然としてプログラミングの専門知識を必要とすることを示していると読んでいる。