Drexel University の 4 人の研究者による多声的文献レビューで、LLM 支援開発が技術的負債にどのように寄与するか、 そしてそれを管理するためにどのような戦略、ツール、指標、ベンチマークが存在するかを検討している。その方法の 特徴は、正式な出版物と並んでグレー文献を意図的に含めている点にある。著者らは、このトピックに関する正式な研究 はまだ現れ始めたばかりで出版までに時間がかかる一方、実務者の情報源は学術研究の空白を補う、時宜を得た実世界の 視点を提供すると論じている。
このレビューは、2026 年 1 月に検索された 104 件の情報源(正式文献 31 件、グレー文献 73 件)を分析している。 グレー文献は API を介した構造化された Google 検索によって取得され、権威、方法論、客観性などを含む 7 つの カテゴリーにわたる 22 項目の品質フレームワークでフィルタリングされ、最高点の半分を上回る得点の情報源のみが 残された。正式文献は ACM Digital Library、IEEE Xplore、SpringerLink、Elsevier ScienceDirect から収集され、 あらかじめ定められた採用基準と除外基準に照らしてスクリーニングされ、前方および後方のスノーボーリングによって 拡張された。負債の種類は確立された 13 カテゴリーの分類体系に照らして演繹的にコーディングされ、LLM の利用に 固有の概念を捉えるために帰納的コーディングが用いられた。
著者らはこの研究を、先行研究に見出したギャップを埋める最初期のものの 1 つと位置づけている。既存の技術的負債の 研究は、古典的な負債の種類か、モデルのバージョン管理やデプロイといった ML 固有の関心事のいずれかに集中して おり、LLM の出力がソフトウェアプロジェクトに統合され、後に理解、レビュー、保守されなければならないときに 生じる負債を検討したものはごくわずかである。
要点
- 従来型の負債の種類の中では、コードの負債が群を抜いて最も頻繁に論じられており(正式文献 14 件、グレー文献 56 件)、設計の負債(正式文献 2 件、グレー文献 30 件)、ドキュメントの負債(正式文献 0 件、グレー文献 17 件)がそれに続く。
- このレビューは、出発点とした分類体系ではカバーされない 6 つの負債カテゴリーを特定している。ガバナンスの負債、プロンプトの負債、高速統合の負債、データの負債、倫理的負債、来歴の負債 である。
- グレー文献と正式文献は異なる新カテゴリーを強調している。実務者の情報源はプロンプトの負債、高速統合の負債、来歴の負債、倫理的負債、ガバナンスの負債を重視し、正式文献はデータの負債、プロンプトの負債、来歴の負債、倫理的負債に焦点を当てている。
- 著者らはドミノ効果を記述している。高速統合の慣行 — 品質よりも速度を優先して急速に生成されたコード — は、管理されないまま放置されると連鎖的なガバナンス上のリスクを引き起こす。
- ガバナンスの負債は、グレー文献で最も頻繁に論じられている LLM 固有の負債であり(19 件)、ここではモデルそのものの学習や運用のガバナンスではなく、LLM が生成したコードやロジックがソフトウェアシステムに組み込まれたときに生じる長期的な監督の負担として定義されている。
- このレビューは、LLM エージェントアシスタントを導入した GitHub プロジェクトとマッチングした対照群を比較する差分の差分法(difference-in-differences)の設計を用いた研究を報告しており、その研究では導入後に開発速度が統計的に有意に向上した一方で、静的解析の警告が 30%、コードの複雑さが 41% 増加したことが見出されている。
- 一貫した緩和策の推奨が、73 件のグレー文献のうち 58 件に現れている。ヒューマン・イン・ザ・ループのモデルに従い、LLM の出力をレビューと改良を要する草稿として扱うというものである。
- 正式文献は戦略を 3 つのカテゴリー — データ品質と標準への整合、プロンプトエンジニアリング、そしてヒューマン・イン・ザ・ループのフレームワークを伴うツール — に分類しており、8 件の研究が学習データと入力データの前処理の改善を推奨し、7 件がプロンプト設計を扱い、10 件がより広いツールチェーンや内省的なワークフローへの統合を強調している。
- SonarQube は最も頻繁に言及される検出ツールだが、著者らは、SonarQube や同様のリンターは汎用向けに設計されており、AI 生成コードの特性に最適化されていないと指摘している。
- グレー文献と正式文献のいずれからも、LLM 生成コードにおける技術的負債を評価するための 標準化されたベンチマークやデータセットは見つからなかった。著者らは、これは人間が書いたコードについてさえ包括的な技術的負債のベンチマークが乏しいという、より広い状況を反映していると述べている。
- SonarQube のルールのような既存の指標は、業界の議論全般で AI 固有の負債には不十分だとされており、構文エラーや一部の保守性の問題は表面化できても、意味的な正確さ、アーキテクチャへの適合、適応性は捉えられない。
補足
著者らはすべての情報源を、技術的負債をどれだけ明示的に位置づけているかによって分類し、直接的な証拠 — その用語 または認知されたカテゴリーがタイトルに現れ、主要な議論の枠組みとなっているもの — と、補助的な証拠 — コード スメルや保守性の問題といった関連する現象を論じ、負債の概念との明示的なつながりを示しているもの — を区別して いる。この分類は両方の文献に一貫して適用され、解釈の指針として用いられている。
レビューの定義のうち 2 つは、先行研究に比べて意図的に狭められており、その限定は知見を読むうえで重要である。 ここでのデータの負債は、モデルの学習パイプラインや MLOps インフラにおける負債を広く指すのではなく、LLM の 出力を形づくるデータ関連の条件のうち、その出力がソフトウェアに組み込まれた後に保守の負担を生むものを指す。 ガバナンスの負債も同様に、モデルのガバナンスではなく、組み込まれたコードの監督の負担に範囲が限定されている。
信頼性は評価者間一致度によって報告されている。論じられた技術的負債の種類については Cohen のカッパが 0.93、 残りの抽出項目については 0.90 から 1.00 の範囲であり、3 人目の著者が一貫性のためにアノテーションをレビュー している。グレー文献について報告されている 100% の一致は、当初の評価者間の統計値ではなく、調整後の合意を 反映したものであり、著者らはそのことを明記している。
今後の方向性として、著者らは、負債の分類体系を従来のカテゴリーを超えて拡張すること、LLM 関連の負債が時間とともに どのように蓄積するかについての縦断的研究 — 2021 年以降の導入を踏まえれば今が好機だと著者らは論じる — 、 そして社会技術的な影響に関する研究を求めている。後者には、プロンプトが開発の成果物として機能しているにも かかわらず、しばしば文書化されず、ツールやリポジトリに散在している「プロンプトスプロール」の問題が含まれる。