オークランド大学の Annie Vella と Kelly Blincoe による本研究は、ツールの性能よりも実体験を優先し、プロのソフトウェアエンジニアが AI コーディングアシスタントの仕事への影響をどう認識しているかを調べている。先行研究の証拠の多くは横断的、短期的、ベンチマークベース、あるいは学生から得られたものであり、生産性と開発者体験はたいてい別々に研究されてきたと論じ、同じプロフェッショナルを時間を追って追跡し、両者を一体として扱っている。
著者らは 2024 年 10 月と 2025 年 4 月の、6 か月の間隔を空けた 2 回のオンライン質問紙調査を実施した。第 1 時点で 158 人、第 2 時点で 101 人の適格な参加者と、95 人の縦断的なマッチドコホートが得られ、参加者は 28 か国にわたり、最も多いのはニュージーランドだった。設計は収斂並列型の混合研究法である。6 つの開発タスクにおけるタスクの重点、DevEx フレームワークの 3 つの次元（フィードバックループ、認知負荷、フロー状態）、および知覚された生産性に関するリッカート尺度の項目はノンパラメトリック検定で分析し、自由記述の回答は再帰的テーマ分析で分析した。
主なポイント
- 参加者の多くは、測定対象の開発タスクに費やす時間が減ったと認識していた。最も急激に減少したのはコードを書くことで、第 2 回の質問紙の時点では 82% がこれに費やす時間が減ったと報告した。両時点で平均が中立を上回ったのは、コードのレビューだけだった。
- マッチした参加者では、検証タスク（レビュー、テスト、デバッグ）と作成タスク（設計、記述、リファクタリング）のバランスが有意に検証側へ移った。ただし、いずれのグループも単独では有意に変化しなかった。著者らはこれを 作成から検証へのシフト と呼んでいる。
- 測定された検証の増加は控えめだったため、著者らは、空いた労力が 監督的エンジニアリング作業 ── AI を方向づけ、その出力を評価し、その誤りを修正すること ── に流れていると提案している。著者らは、このカテゴリは従来の SDLC の分類体系では捉えられないと論じている。
- 知覚された生産性は高く安定していた（両時点で 84% が向上を報告し、マッチした参加者の 77% が同一の評価をつけた）一方で、少なくとも 1 つの次元で開発者体験が悪化したと報告した割合は 14% から 27% へとほぼ倍増した。フィードバックループは有意に改善し、認知負荷とフロー状態は有意ではない低下を示した。著者らはこれを 生産性と体験のパラドックス と名づけている。
- 開発者体験の変化は生産性の変化と相関しなかった。これは、各時点では両者の間に中程度から強い横断的な相関が見られたのとは対照的である。
- 研究期間中にツールの状況も変化した。マッチした参加者の 82% がツールの組み合わせを変え、参加者 1 人あたりのツール数の平均は 1.9 から 2.9 に増え、ChatGPT の利用は 70% から 58% に減り、Cursor の利用は 16% から 29% に増えた。
- 懸念事項のうち順位が有意に変化したのは保守性だけで、参加者の最大の懸念とする割合は 3% から 19% に上昇した。最大の懸念として最も多かったのは引き続き品質だった。
補足
著者らはいくつかの限界を認めている。第 1 回の質問紙の参加者の 40% が第 2 回を完了しておらず、幻滅したエンジニアほど回答しなかった可能性がある。サンプルは現在 AI コーディングアシスタントを使っているエンジニアに限られるため、84% という生産性の数字は継続利用者の 84% として読むべきである。また、サンプルの 85% は男性で、主に英語話者だった。測定は認識に基づくもので想起バイアスの影響を受けうるうえ、知見は 2024 年後半から 2025 年前半に存在したツールを反映しており、より新しく自律性の高いエージェント型ツールには当てはまらない可能性がある。筆頭著者は現役のソフトウェアエンジニアであり、著者らはこれを解釈上のバイアスの潜在的な原因として管理している。著者らは、統計分析用の R スクリプトの作成支援と、文章の明瞭さのレビューに Claude Code を使用したことを開示している。