専門家パネル・プロンプティング（Panel of Experts prompting）は、答えを返す前に、複数の異なる専門家からなるパネルが一緒に問題を議論する形で推論するよう言語モデルに求めるものである。ある専門家が論を提示し、ほかの専門家がそれを批評し検証する。Sourcery による手法の解説を要約した、AI 支援コードレビューに関する Phodal の章の説明によれば、これは Tree of Thoughts の手法に着想を得た先行のプロンプトを拡張したものである。その先行プロンプトでは、3 人の専門家がそれぞれ思考の 1 ステップを書き出してグループと共有し、次のステップへ進み、誤りに気づいた専門家は脱落する。この先行プロンプトは、少なくとも逸話的には、推論タスクで Chain-of-Thought プロンプティング よりも良い結果を出すと報告されている。
用法
パネル版は、ステップごとのリレーを、パネルディスカッションという発想に置き換える。その根拠は、LLM の訓練データにはそうした議論が数多く含まれているという点にある。この手法が対象とする問題は、LLM がいったん誤った推論の筋道をたどり始めると、誤りに気づくよりもそれを最後までたどってしまいがちだということである。役割の異なる専門家のパネルは異なる視点や論点を持ち込みやすく、それがより良い推論と結果につながるはずだとされる。
Sourcery は、差分がどの docstring の更新を必要とするかを判断するために、コードレビューでこの手法を用いた。その冒頭のプロンプトは、モデルを Alice、Bob、Charles という名前のコードドキュメンテーションの専門家 3 人からなるパネルに見立て、彼らはステップごとに作業し、互いの作業を批評する。締めくくりのプロンプトでは、1 人の専門家がある docstring の更新を支持する論を述べ、ほかの専門家がその論を批評して更新が必要かどうかを判断する。変更された行に直接関係する重要な更新だけを残し、結果は JSON のリストとして返させる。
適用される場面
この手法は、単一の推論の連鎖が早い段階で誤り、そこから立ち直れなくなりうる推論タスクを対象としている。たとえば、あるコード変更によって docstring が古くなるかどうかの判断がそれにあたる。モデルがステップと論点に分割でき、それらをパネルが批評できるタスクであることが前提となる。その裏付けは薄い。土台となるプロンプトの改善は逸話的にしか報告されておらず、この章はパネル版を、何らかの計測された比較ではなく、1 つのベンダーによる利用例を通じて紹介しているにすぎない。