この論文は、Claude Code、Codex、Gemini CLI といった AI 支援コーディングツールのエンジニアリングを研究対象とする。論文は、これらのツールは大きな生産性向上を約束する一方で、従来のソフトウェアエンジニアリング、AI システム設計、ヒューマンコンピューターインタラクションの交差点に位置するそれらを構築することには、独特でまだよく理解されていない課題が数多く伴うと論じ、そこに関わるエンジニアリング上の落とし穴についての初の実証研究であると位置づけている。
著者らは、これら 3 つのツールのオープンソースの GitHub リポジトリで公開報告された 3.8K 件を超えるバグを、体系的かつ手作業で分析している。オープンコーディングの手法を用いて、各イシューの記述を関連するユーザーの議論や開発者の応答とあわせて調べ、すべてのバグを種類、発生箇所、根本原因、観察された症状によって分類している。このアノテーションは、よく見られる失敗パターンや繰り返し現れるエンジニアリング上の課題を明らかにするために用いられ、著者らはそれを、より信頼性の高い AI コーディングアシスタントを設計する開発者のためのロードマップとして提示している。
要点
- 調査対象のバグの 67% 超は機能に関連するものである。
- 根本原因の観点では、バグの 36.9% が API、統合、または設定の誤りに起因する。
- 最もよく観察される症状は、API エラー（18.3%）、ターミナルの問題（14%）、コマンドの失敗（12.7%）である。
- バグは主に、システムのワークフローのうちツール呼び出し（37.2%）とコマンド実行（24.7%）の段階に影響している。
- これらの数値はすべて、Claude Code、Codex、Gemini CLI という 3 つのツールのリポジトリで公開報告されたイシューから得られたものである。
補足
この論文は 2026 年 3 月 21 日に arXiv に投稿され、Software Engineering（cs.SE）に分類されている。