この論文は、2025 年 2 月から 6 月時点のフロンティアにあった AI ツールが、自身のリポジトリで作業する経験豊富なオープンソース開発者の生産性にどのような影響を与えたかを測定したランダム化比較試験を報告する。AI の使用経験が中程度の開発者 16 名が、実際の issue 246 件（AI 許可 136 件、AI 禁止 110 件）を完了した。各 issue は無作為化の前に定義され、シミュレートされたコイン投げによっていずれかの条件に割り当てられた。AI が許可された場合、開発者は好きなツールを使うことができ、主に Claude 3.5 Sonnet または 3.7 Sonnet を用いた Cursor Pro を使用した。AI が禁止された場合は、生成 AI ツールの使用は一切認められなかった。成果指標は、各 issue の実装にかかった時間である。
この設計は、著者らが先行研究の多くで用いられていると述べる設定から意図的に距離を置いている。著者らは、AI が開発者に与える影響についての実験室研究は、事前のコンテキストをほとんど必要としない自己完結的なタスクを用いることで、現実性と引き換えに規模を得ていると論じる。また、フィールド研究はコード行数、コミット数、プルリクエスト数といった成果を測定することが多いが、これらは実際に生産性が上がらなくても AI によって動きうると指摘する。コードは機能的には同等のまま冗長になりうるし、作業総量が変わらないまま作業をより多くの断片に分割することもできる。本研究が掲げる 5 つの貢献は、2025 年 2 月から 6 月時点のフロンティアモデルを検証していること、合成されたものや恣意的に選ばれたものではなく実際のリポジトリの issue を用いていること、成果指標を無作為化の前に確定させていること、対象リポジトリで何年もの専門知識を持つエンジニアを募集していること、そして時間の計測に加えて画面録画と定性データを収集していることである。
主なポイント
- AI を許可すると実装時間は平均で 19% 増加し、観測された分布のほぼすべての分位点で AI 許可の issue の方が長くかかった。論文は、2 つのグループ間の単純なパーセンテージの差は 34% であり、回帰による推定値の 19% より大きいと述べている。これは無作為化の結果、AI 許可の issue がたまたまわずかに難しくなったためであり、回帰はその点を考慮しているが単純な比率は考慮していない。
- 予想と結果のずれは、尋ねられた全員について同じ方向に生じていた。開発者は作業開始前に完了時間が 24% 短縮すると予測し、研究終了後にもなお 20% 速くなったと見積もっていた。経済学の専門家 34 名と機械学習の専門家 54 名は、それぞれ 39% と 38% の短縮を予測していた。
- それでも開発者は、相対的な難易度については適切に見積もれていた。予測時間と実際の時間の相関は、AI 許可の issue で 0.64、AI 禁止の issue で 0.59 だった。逆転していたのは、AI が役に立つかどうかについての予想の方である。
- 有効な画面録画がある 74 件の issue について手作業でラベル付けした結果、時間の使われ方が明らかになった。AI が許可された場合、開発者が能動的にコーディングしたり情報を読んだり探したりする時間の割合は小さくなり、AI へのプロンプト入力、生成の待機、出力のレビュー、そしてアイドル状態に費やす時間の割合が大きくなった。
- 論文は、この設定において事前に減速を説明しうる 20 の性質を特定し、直接的な生産性の損失、実験上のアーティファクト、人間のパフォーマンスを高める要因、AI のパフォーマンスを制限する要因に分類している。そのうち 5 つが寄与している証拠、9 つについてはまちまちの証拠または証拠なし、6 つについては反証が得られた。ただし、この分析は統計的に有意な多重比較を行えるだけの検出力を持たず、決定的なものではなく示唆的なものとして意図されていると注意を促している。
- 裏付けとなる証拠が得られた 5 つは、次のとおりである。AI の有用性に対する過度な楽観。開発者のリポジトリへの高い習熟度（よく知っている issue ほど開発者の減速が大きかった）。大規模で複雑なリポジトリ。AI の低い信頼性（開発者が採用した AI の生成物は 44% 未満で、過半数が AI のコードに大幅な手直しが必要だったと報告し、時間の 9% がそのレビューや手直しに費やされた）。そして AI がアクセスできない暗黙的なリポジトリのコンテキストである。
- 論文が反証を見出した要因には、不慣れな開発環境、開発者による不正や AI の過少利用、issue の脱落、成果指標や推定量の頑健性の欠如が含まれる。代替の指標や推定量でも同様の減速が得られ、両条件で同等の IDE を使い続けた開発者でも 24% の減速が見られた。
補足
開発者とリポジトリは、意図的に経験の幅の一方の端に位置している。参加者は典型的には 10 年を超える経験を持つエンジニアで、作業したリポジトリでの経験は平均 5 年・1,500 コミット（そのリポジトリの存続期間の約 59%）に及び、参加に対して時給 150 ドルが支払われた。リポジトリは平均でスター 23,000、コード 1,100,000 行、フォーク 4,900、コミット 20,000、コミッター 710 で、コントリビューションに求められる品質基準も高かった。開発者の 93% は以前に LLM を使ったことがあったが、Cursor IDE を使ったことがあったのは 44% にとどまった。
著者らは、この結果がこの設定についてのものであることを明言している。過度な一般化に注意を促し、最も大きく寄与していると見出した 2 つの要因（リポジトリへの習熟度と、リポジトリの規模および成熟度）は多くの開発環境には当てはまらないと指摘し、小規模なグリーンフィールドプロジェクトや不慣れなコードベースでの作業では大幅な高速化が見られることとも結果は矛盾しないと述べている。また、より信頼性が高く、レイテンシが低く、あるいはより適切に能力を引き出せる AI システムであれば、この設定でも開発者を高速化しうると予想している。さらに、論文には含まれない予備的な証拠として、Claude 3.7 Sonnet を用いた完全自律型エージェントは、これらのリポジトリの issue の中核機能を実装できることが多いものの、すべての要件を満たすことはできず、典型的にはドキュメントを省略し、lint やスタイルのルールに違反し、テストを含めないことを報告している。
論文が予想とのずれから引き出す教訓は方法論的なものである。すなわち、専門家の予測や開発者へのアンケートに頼るのではなく、成果指標を事前に確定させたフィールド実験が重要であることを強調している。また、この減速を、実環境における AI の能力がベンチマーク結果の示唆するよりも低い可能性があることの一つの証拠として提示している。