リムリック大学の 3 人の研究者による三次レビュー（二次研究を対象とする系統的レビュー）であり、コード生成タスクに適用された大規模言語モデルについて、既存のサーベイや系統的レビューが報告している内容を集約している。その動機は、報告されている結果は有望であるものの、実世界の開発に LLM を適用することのより広い影響は十分に理解されておらず、既存の三次研究は範囲が広すぎるか、一部のタスクに限定されているか、プロンプトエンジニアリングのようなタスク横断的な側面に焦点を当てているかのいずれかだという点にある。
このレビューは Kitchenham の系統的レビュー方法論と SEGRESS の報告ガイドラインに従い、IEEE Xplore、ACM Digital Library、Scopus、DBLP、Web of Science、Google Scholar を検索し、データベースへのクエリと構造化されたスノーボーリングを組み合わせている。その結果、2017 年から 2025 年の間に発表された 30 件の二次研究を特定した。統合には 2 つの方法論的な貢献が付随する。1 つは、スノーボーリングの際に LLM を一次スクリーニング担当として信頼性を保ちつつ用いた方法の記述であり、もう 1 つは、もともと自然言語の評価のために設計された Holistic Evaluation of Language Models（HELM）フレームワークを、その多指標の設計を維持しつつ、シナリオをタスク、プログラミング言語、アプリケーションの種類またはドメインを軸に再定義することで、ソフトウェアエンジニアリングの文脈に翻案したものである。
このレビューが示す結論は、LLM に基づくコード生成タスクは急速に成熟しつつあるものの評価にむらのある研究領域であり、ドメインを考慮したモデルの改善と、効率とそれに伴うコストに取り組む包括的で標準化された評価が必要だというものである。
要点
- 著者らは コード生成タスク の包括的な定義として、主な出力が、コンパイルまたはインタプリタで解釈されて実行されることを意図した、自動生成されたコード成果物であるソフトウェアエンジニアリングタスク、という定義を採用している。インラインコメント、docstring、ドキュメントなど、実行不可能なテキストだけを生成するタスクは明示的に除外される。
- この領域は急速に拡大し、その性質も変化している。二次研究は 2022 年の 1 件から、2023 年には 6 件、2024 年には 17 件へと増え、自己申告による系統的レビューとマッピング研究の割合は、2022〜2023 年の 0% から、2024 年には 47%、2025 年前半には 83% へと上昇した。
- 著者らはこの数字に飽和の兆しを読み取っている。二次研究は 2023 年から 2024 年にかけて約 3 倍になった一方で、それらが全体としてカバーする一次研究は 1,491 件から 1,724 件にしか増えておらず、著者らはこれを成熟と、二次研究間での重複の始まりとして解釈している。
- SWEBOK の観点では、この分野は集中している。30 件中 25 件がソフトウェア構築（Software Construction）を対象範囲とし、ソフトウェア保守（14 件）、ソフトウェアセキュリティ（11 件）がそれに続く。交差分析では、LLM × ソフトウェア構築の強いクラスターが見られる。
- 正確性（accuracy） については、著者らが強調するように、証拠が研究の質によって分かれている。これを報告する 18 件の研究のうち、質の低い 8 件は改善を強調する一方、質の高い 11 件は慎重な見方をとる（7 件）か、正確性に関して芳しくない結果を報告している（4 件）。
- 質の高い研究は、正確性の数値が水増しされる原因を、コードの重複やデータリークといったデータセットの問題に帰している。また、指標が意味的な正しさを捉えられないことが多く、構文的には正しいが意味的には誤ったコードが生み出されることを指摘し、同じモデルが HumanEval では良い性能を示しながら、より多様なデータセットや実世界のデータセットでは性能が低いことを報告している。
- 頑健性（robustness） については、これを報告する 16 件の研究すべてにわたって、またすべての質の層にわたって、一貫した見解が見られる。頑健性はしばしば過大評価されており、現実的な条件下では依然として脆弱で、データセットの重複、プロンプトや設定の変更、temperature のようなデコーディングパラメータに敏感であり、タスク、データセット、言語をまたいだ転移は限られている。
- 効率（efficiency） については、これを報告する 14 件の研究の大多数が計算、経済、エネルギーのコストを強調しており、提案されている緩和策は、学習戦略の改善とハードウェアによる高速化にとどまっている。
- 有害性（toxicity）（コードの文脈では、安全でないパターン、脆弱性、ライセンスに違反する断片として再解釈される）を扱うのは 8 件の研究のみ、バイアス（bias） は 2 件のみであり、キャリブレーション（calibration） と 公平性（fairness） は、対象の研究のいずれでも明示的には扱われていなかった。
- タスクのラベルを統合すると、最も頻繁に報告されるコード生成タスクはパッチ生成と修復（22 件）であり、コード生成（20 件）、コード翻訳（9 件）、コード補完（8 件）がそれに続く。
- HELM のシナリオの次元に関する報告は著しく不均一である。ほぼすべての 29 件の研究がタスクを報告しているが、プログラミング言語を明示しているのは 8 件のみ、アプリケーションの種類を明示しているのは 2 件のみであり、アプリケーションドメインの詳細を示している研究は 1 件もない。
- 統合上の課題のうち、最も頻繁に報告されるカテゴリーは経済性（Economics、10 件）であり、ツールとワークフロー（Tooling & Workflow）、評価とベンチマークの妥当性（Evaluation & Benchmark Validity）がそれぞれ 7 件で続く。
補足
著者らは、品質評価を研究の絞り込みではなく統合の指針として用いたことを明言している。30 本の論文はすべて記述的マッピングのために保持され、結論を導く際に品質が考慮された。DARE の基準で採点した分布は、低が 9 件、中が 8 件、高が 13 件で、平均は 2.45 であり、著者らはこれを他の三次レビューと同程度だと述べている。
信頼性を確保するための措置が全体を通して報告されている。検索文字列のスクリーニングにおける評価者間一致は Fleiss のカッパで 0.85、採否の判断では 0.86 に達した。スノーボーリングで得られた 2,769 件のレコードに対して LLM を一次スクリーニング担当として用い、100 件のサンプルで検証したところ、適合率は 0.77、再現率は 1.00 で、人間の判断との Cohen のカッパは 0.83 であった。3 つのリサーチクエスチョンの背後にある定性的な抽出については、抽出者とチェッカーによる戦略によって、引用の正確率は 1.00、ラベルの正確度は 0.95 から 0.98 となった。
品質スコアと合わせて、掲載先について 2 つの点が注目に値する。30 件の研究のうち 13 件は学術誌に掲載され、8 つの学術誌のうち 7 つが Scimago で Q1 にランクされており、学術誌の平均品質スコアは 2.77 と最も高かった。しかし、9 件を占める arXiv のプレプリントも 2.39 と 2 番目に高い平均を記録しており、著者らはこれを、プレプリントの中にも厳密な系統的アプローチに従っているものがあることの表れと解釈している。
著者らは、人とプロセス（People & Process）に関する課題が、HELM や ISO/IEC 25010 のような既存の技術的な評価フレームワークにうまく対応づけられないことを指摘し、これを人的・組織的要因に関する現在の分類法の既知のギャップだと述べている。
プロトコル、検索文字列、スクリーニングの規則、抽出フォーム、分析スクリプト、そして整備されたデータセットは、著者らによって公開されている。