エージェントシステムエンジニアリング(智能体系统工程化)とは、Jimmy Song のオンラインハンドブック『智能体构建指南』の草稿段階の一章が、LLM ベースのエージェントを「動くもの」から「再現・拡張・観測・保守できるもの」へと引き上げることに与えた名称である。この章は、「プロンプトをいくつか書き、ツールをいくつかつなぐ」ことは単純さの錯覚を生むにすぎないと論じる。システムエンジニアリングの観点から見れば複雑さは消えたのではなく移動しただけであり、LangChain、Flowise、Bailian(百炼)といったフレームワークはエージェントを動かしはしても、再現可能にはしない。章の主張は、知能の不確実性はエンジニアリングの確実性によって支えられなければならないというものであり、エージェントの競争力は賢さではなく信頼性の高さにあるという主張で締めくくられている。
用法
この章は、独自のいくつかの表を軸にこの考え方を整理している。
- 複雑さの 3 つの層 — 実行可能性(デモが動く。フレームワークのカプセル化が複雑さを隠している)、再現可能性(振る舞いを説明し、リプレイできる。欠けているのはトレースと状態管理)、進化可能性(学習、フィードバック、反復。欠けているのはシステム設計と蓄積された知識)。複雑さは排除されるのではなく、開発段階から実行時の段階へと移ると章は述べる。
- 不確実性の増幅 — LLM の呼び出しはそれぞれ確率的であるため、誤りは呼び出しをまたいで複合する。1 回の呼び出しが 90% の確率で正しいとすると、10 回の呼び出しからなるシステムが正しい確率は約 35%、20 回では約 12% になる(合成的信頼性 を参照)。章は、この増幅の原因を、メモリ(状態の一貫性が制御されないこと、埋め込み検索における意味のドリフト)、オーケストレーション(LLM がフローを動的に決めること)、テスト(確率的な出力が従来のユニットテストを無効にすること)に求めている。
- Prompt Hack からシステム設計へ — デモが動くまでプロンプトを調整しても、再現性、拡張性、制御性は得られない。章がそれぞれに対応させるのは、バージョン管理とリプレイ、モジュール化されたメモリとオーケストレーション、そして可観測性とロギングである。
- 知能より先に安定性を、最適化より先に可観測性を — 章が挙げる中核的な仕組みは、タスク実行のリプレイ、プロンプト・メモリ・RAG のバージョン追跡、成功率・ドリフト率・冗長呼び出し率などの監視指標、そしてデッドループやクラッシュを防ぐためのチェックポイントとフォールトトレランスによるエラー回復である。
- 成長の 5 段階 — Hello World(動くデモ。プロンプトの実験)、シナリオのつなぎ合わせ(ツールと RAG。コンテキスト管理)、システム化(マルチエージェントの協働。状態の一貫性)、エンジニアリングとしてのデプロイ(本番利用。可観測性とセキュリティ)、そして知的進化(自律的な学習。長期記憶とフィードバックループ)。
- 層ごとのロードマップ — フレームワークが支える実行層、観測層(ログ、リプレイ、バージョン管理、指標)、制御層(回復、検証、セキュリティ境界)、進化層(自己学習とフィードバック駆動の最適化)。
章はまた、エンジニアリング上のデザインパターンとして、ReAct、CodeAct、Model Context Protocol を介したツール利用、クリティックモデルによる自己省察、マルチエージェントワークフロー、エージェント型 RAG を挙げている。フレームワークの状況については、LangChain はエージェントを組み立てられるようにする一方でそれを説明する能力を失わせ、LangGraph と LangSmith はシステムレベルの制御性と可観測性を取り戻すことを目指している、と特徴づけている。章が示す今後の方向性は、エージェントをマイクロサービスとして、オーケストレーションを分散システムのスケジューリングとして、メモリをナレッジグラフと状態データベースの組み合わせとして、可観測性を AI ネイティブなテレメトリとして扱うというものである。
適用される場面
章はこれを、エージェントが実験室から本番環境へ移るために必要なものとして位置づけており、実行ごとに振る舞いが変わる LLM 上に構築されたエージェントを対象としている。その反例が Prompt Hack である。プロンプトの調整は実験段階では許容されるが、本番環境では安定性も保守性も保証できないと章は考えている。本番ではプロンプトを変えても振る舞いが安定する保証はなく、マルチタスクのプロンプトが際限なく増えていくからである。
これは一人の著者による捉え方であり、ハンドブック自体が草稿と明記している章のものである。1 回の呼び出しあたり 90% という数値は、複合を説明するための仮定として示されたものであって測定値ではなく、章は自らが推奨する実践についていかなる評価も報告していない。
関連用語
- 合成的信頼性 — 章の増幅の議論が拠って立つ、ステップごとの誤りの複合
- LLM ベースのマルチエージェントシステム — システム化の段階におけるマルチエージェントの協働
- ReAct、CodeAct — 章が挙げるパターン