本論文は、in-IDE HAX ── 統合開発環境内での人間と AI の体験（Human-AI Experience） ── についての系統的文献レビューであり、系統的レビューとメタ分析のための PRISMA フレームワークのもとで実施された。本論文はこのテーマについての初の系統的レビューであると自らを位置づけ、ソフトウェアエンジニアリングにおける大規模言語モデルについての既存のレビューとの違いを、それらがモデルの能力、タスクの対象範囲、評価手法を要約するだけで、開発者のワークスペース内でのインタラクション体験を分析していない点に求めている。同じグループによる以前の非系統的なサーベイ（36 本の論文を対象）を、範囲と方法論的な厳密さの両面で拡張したものである。
プロトコルは、2022 年 1 月から 2024 年 11 月の間に初めて公開された英語の研究に対象を限定し、査読付きの学術誌論文と会議録に加えて、独自の関連する知見を提供する場合にはプレプリントや未発表の学位論文も含めた。検索は 2024 年 11 月に、ACM Digital Library、DBLP、IEEE Digital Library、ISI Web of Science、ScienceDirect、Scopus、Springer Link、arXiv を対象に実施され、AI アシスタントおよび Human-AI に関する用語と IDE 関連の用語を組み合わせた 2 部構成のクエリを用いた。残った研究は、Reporting、Rigor、Credibility、Relevance の 4 つの品質基準でそれぞれ 0 / 0.5 / 1 の尺度で採点され、合計が 2 を超えるものが採用された。スクリーニングに入った 223 本の論文のうち、30 本は重複、114 本は範囲外だった。79 本の全文論文を適格性について評価し、8 本を品質を理由に除外した。後方スノーボーリングでさらに 18 本の範囲内の論文を追加し、改訂段階で 2 本を削除して 3 本を追加した結果、最終的なコーパスは 90 本となった。
本レビューは、これら 90 本の論文が明らかにしたことを、以前のサーベイの分類法から引き継いだ 3 つの次元 ── Impact（開発者、タスク、ワークフローへの影響）、Design（AI が IDE にどのように統合され、どのようにインタラクションされるか）、Quality（正しさ、セキュリティ、可読性といった AI 出力の特性） ── に沿って整理し、そのうえでコーパスの研究の文脈、タスクの種類、実証的手法、そして各論文が提案する今後の研究を分析している。
主なポイント
- コーパスは Impact に大きく偏っている。90 件の研究のうち 74 件が Impact を扱っているのに対し、Design は 28 件、Quality は 19 件である。Impact を志向する研究は、特に経験豊富なユーザーにおける生産性の向上とともに、結果の検証に費やす時間の増加や過度の依存への懸念を報告している。
- 研究は、教育の場（90 件中 19 件）よりも職業上の場（90 件中 71 件）に、ソフトウェア開発ライフサイクルのコード実装段階に、そして単一のツールに集中している。GitHub Copilot は 90 件中 36 件で調査対象となっている。本レビューはこの集中を過度の一般化のリスクとして挙げている。知見が他の AI を活用したコーディングアシスタントには当てはまらない可能性があるからである。
- 職業上の場を対象とした研究のうち、71 件中 46 件は対象とするライフサイクルの段階をまったく明示しておらず、AI ツールを汎用的なプログラミング支援として評価している。同じインターフェースでも要件定義、実装、テスト、進化の各段階で異なる効果を持ちうるため、本レビューはこの段階情報の欠如を比較を制約する報告上のギャップとして扱っている。
- Design の研究は 2 つのインタラクションのパラダイム ── オートコンプリートに基づく支援と対話型エージェント ── に収束しており、本レビューはこれらを対立するものではなく補完的なものとして提示している。研究の中には、コンテキストを共有し、局所的な編集とより高いレベルの推論の間を行き来できるハイブリッドなモデルを提唱するものもある。28 本の Design 論文のうち 17 本から、繰り返し現れる 3 つの設計原則を抽出している。コンテキストの認識、説明可能性と透明性、そしてユーザーによる制御と適応性である。
- Quality の研究は、中心的なパターンを速度と保証のトレードオフとして捉えている。AI 支援のコーディングはワークフローを加速させる一方で、微妙な誤り、安全でないパターン、保守性の低下を招きやすくし、可読性の懸念は過度に簡潔な構造、慣例に沿わない変数の命名、コメントの欠如から生じる。
- コーパスの手法は、定性的研究が 38 件、実験研究が 32 件、調査票に基づく研究が 12 件で、20 件はこの二分法に当てはまらない。本レビューは、インタビューのサンプルサイズが 7〜61 人（中央値 16）、実験デザインが 17〜214 人（ただし 2 件の A/B 研究ははるかに大規模）、調査票が 68〜2,047 人（中央値 507）であったと報告し、サンプルサイズはしばしば検出力不足であり、その根拠が示されることはまれだと論じている。
- コーパスから抽出した 250 件の今後の研究についての記述を分析した結果、17 のトピックと 10 の方法論的戦略が得られた。最も多いトピックは生産性の要因（43）、AI 支援の設計（29）、AI が生成したコードの監査（28）であり、ガバナンス、ユーザーによる制御、プロアクティブ性は最も少なく、それぞれ 3、3、4 件の記述だった。
補足
本レビューは独自の目的のために、IDE を、コード編集、即時の実行またはプレビュー、コンテキストに即した AI フィードバックを同じウィンドウで同時に提供するあらゆるワークスペースとして定義している ── この定義は従来のデスクトップ IDE とノートブック形式の環境の両方を含む一方で、AI の提案を主要な編集画面の外に出すツールを除外する。この範囲設定は、著者らが挙げる妥当性への脅威の 1 つでもある。教育の場での導入は必ずしも本格的な IDE の中で行われるわけではないため、再現率を重視したクエリは、対象を職業上の文脈に偏らせうる。
そのほかに述べられている脅威は、2022〜2024 年という期間による時間的なバイアス、査読を経ていない arXiv 論文を含めたことによる情報源の信頼性、大規模なコーパスを分類する際の解釈のバイアス、そしてスポンサーが 1〜2 か月以内のフィードバックを期待する産業環境で実証研究を行うことの難しさである。著者らは、完全な抽出表と検索プロトコルを補足資料として公開しており、方法論上の推奨として、確証的な比較のための事前の検出力分析、適切な場合の事前登録、バージョン管理された研究資料の共有を挙げている。
本レビューはまた、コーパスの一部が AI とのプログラミングを、AI がツールではなく協働するパートナーとして振る舞うペアプログラミングの一形態として概念化していることを指摘し、この捉え方を共創的なプログラミングワークフローにおける拡大しつつある傾向として扱っている。