この arXiv プレプリントは、Chain-of-Thought プロンプティング を導入する。これは、中間的な推論ステップを 示す少数のデモンストレーションをプロンプト内に例示として与える手法である。著者らの主張は、こうした 思考の連鎖（一連の中間的な推論ステップ）を生成することが大規模言語モデルの複雑な推論を行う能力を 大きく向上させ、しかもこの能力は十分に大きなモデルでは自然に創発する、というものである。著者らは Chain-of-Thought プロンプティングを単純な手法だと説明している。
アブストラクトで報告されている評価は、3 つの大規模言語モデルを対象に、算術、常識、記号の推論タスクに わたっている。著者らは実証的な向上を目覚ましいものと表現し、代表的な結果を 1 つ挙げている。 5,400 億（540B）パラメータの言語モデルに、わずか 8 個の思考の連鎖の例示を与えてプロンプトすると、 算数の文章題のベンチマークである GSM8K において最先端の精度に達し、検証器を備えたファインチューニング 済みの GPT-3 さえ上回るというものである。
この論文は Computation and Language（cs.CL）と Artificial Intelligence（cs.AI）に分類され、2022 年 1 月 28 日に最初に投稿され、2023 年 1 月 10 日にバージョン 6 として最後に改訂された。arXiv が発行した DOI 10.48550/arXiv.2201.11903 を持ち、Creative Commons Attribution 4.0 ライセンスのもとで公開されている。
要点
- 論文は Chain-of-Thought プロンプティングを導入する。これは、中間的な推論ステップのデモンストレーションをいくつかプロンプト内に例示として与えるもので、著者らは単純な手法だと説明している。
- 中心的な主張は、思考の連鎖を生成することで、大規模言語モデルの複雑な推論を行う能力が大きく向上するというものである。
- 著者らは、こうした推論能力は十分に大きな言語モデルでは自然に創発すると述べており、これは手法の効果をプロンプトの形式だけでなくモデルの規模と結び付けている。
- 3 つの大規模言語モデルでの実験により、さまざまな算術、常識、記号の推論タスクにわたって性能が向上したと報告されている。
- 代表的な結果は、8 個の思考の連鎖の例示でプロンプトされた 540B パラメータのモデルが、算数の文章題のベンチマークである GSM8K で最先端の精度に達し、検証器を備えたファインチューニング済みの GPT-3 を上回ったというものである。これは、プロンプティングのみの手法と学習済みのベースラインとの比較である。
補足
創発に関する主張は、論文自身が結果に付した限定条件である。アブストラクトは推論能力を 十分に大きな モデルに帰しており、報告された向上はプロンプトの形式そのものの性質としては提示されていない。この プレプリントは 2022 年 1 月から 2023 年 1 月にかけて 6 つのバージョンを経ている。