チャットテンプレート形式のプロンプトとは、言語モデルとのやり取りを模擬的な会話として表す特別な形式で書かれた補完プロンプトであり、各発言には user:、assistant:、そして通常は system: という参加者のラベルが付く。その下にあるのは依然として補完である。assistant: で終わるプロンプトの自然な続きは、モデルが直前のユーザーのターンに答えることになる。この形式が存在するのは、初期のモデルが素の補完エンジンとして動作しており、それが使いやすいものではないと判明したためである。
用法
実践上重要な帰結は、モデルがステートレスであることから生じる。すべての実行は同じ白紙の状態から始まる。会話が続いているという錯覚を保つために、モデルと対話するソフトウェアは自前で状態を保持し、ユーザーがターンを追加するたびに既存のやり取り全体を再生する。プロバイダは出力トークンだけでなく入力トークンにも課金するため、会話が長く続くほど費用がかさむのはこのためであり、入力はターンごとに増えていく。トークンキャッシュ はこれを部分的に相殺する料金の仕組みであり、コーディングエージェントが会話の前の内容を変更しないように作られている理由でもある。
ツール呼び出しが表現されるのも同じ形式である。システムのターンが利用可能なツールとその要求方法を説明し、モデルは呼び出しでターンを終える。ハーネスはその要求を取り出して実行し、その結果をさらなるターンとして追加してから、モデルに続行を求める。この説明に従えば、コーディングエージェントは構造的に特殊なことをしているわけではない。チャットテンプレート形式のプロンプトを組み立て、返ってきたものを読み、それをループで繰り返しているのである。
関連用語
トークンキャッシュ, AI コーディングエージェント, プロンプトエンジニアリング, コンテキストエンジニアリング, AI エージェント, コンパクション