この論文は ReAct を提案する。これは、推論（例：Chain-of-Thought）と行動（例：行動計画の生成）を別々のトピックとして扱うのではなく、大規模言語モデルに自由形式の「思考」による推論トレースとタスク固有の行動の両方を、交互に並んだ 1 本の軌跡として生成させるプロンプティング手法である。「思考」それ自体は外部環境に影響を与えない。代わりに、現在のコンテキストから有用な情報をまとめ、後続の推論や行動を支えるようにコンテキストを更新する。こうして両者は、モデルが推論の対象とする 1 本の流れへと織り込まれる。著者らは、追加の学習を一切行わず、タスクごとに 1〜6 個のインコンテキスト例を用いて凍結された PaLM-540B モデルにプロンプトを与えている。
論文は ReAct を、モデルが簡易な Wikipedia API（search[entity]、lookup[string]、finish[answer]）と対話する知識集約型推論タスク（HotpotQA のマルチホップ質問応答と FEVER の事実検証）と、2 つの対話型意思決定ベンチマークである ALFWorld（テキストベースの身体性を伴う家事タスク）と WebShop（実際にクロールした商品データを用いたオンラインショッピング環境）で評価している。
要点
- HotpotQA と FEVER では、論文の PaLM-540B 実験において、ReAct の検索と推論の軌跡を自己整合性推論と組み合わせたもの（CoT-SC → ReAct / ReAct → CoT-SC）が、推論のみの Chain-of-Thought や行動のみのベースラインを単独で使った場合を上回った。
- ALFWorld では、ReAct の 6 回の試行のうち最良のものが全体で 71% の成功率に達したと論文は報告している。これに対し、Act（行動のみで思考なし）の最良試行は 45%、BUTLER 模倣学習ベースラインは 37% だった。ReAct の最悪の試行（48%）でさえ、どちらのベースラインの最良試行も上回った。
- WebShop では、ReAct はスコア 66.6、成功率 40.0% を達成したと論文は報告している。模倣学習ベースラインは 59.9/29.1%、模倣学習＋強化学習ベースラインは 62.4/28.7% であり、従来の最良手法に対して成功率で 10 ポイントの絶対改善となる。これは WebShop で 10% の絶対改善という論文要旨の主張と一致する（要旨によれば ALFWorld 型の意思決定タスクでは 34%）。
- 先行手法 Inner Monologue をモデルにした、環境フィードバック風の密な思考を用いる ReAct-IM と論文が呼ぶアブレーションは、ALFWorld で通常の ReAct を下回った（全体成功率 53% 対 71%）。論文はその原因を、ReAct-IM がサブゴールの完了をより頻繁に追跡し損ねること、そして物体の場所に関する常識的推論を欠いていることに帰している。
- 論文は ReAct を先行研究と対比して位置づけている。論文が行動から切り離された推論だと特徴づける Chain-of-Thought（Wei ら）とその後続研究とは異なり、ReAct はモデルの行動とその観察を推論の流れに統合する。論文が推論手続きを明示的にモデル化せず、高価な人間のフィードバックや注釈付きデータセットに依存すると述べる WebGPT やチャットボット／対話システム（BlenderBot、Sparrow、SimpleTOD）とは異なり、ReAct の意思決定には推論手続きの言語による記述しか必要ない。これとは別に、論文は Inner Monologue を ReAct が土台とする最も近い先行のクローズドループシステムとして評価しつつ、注入された環境状態のフィードバックに限られる Inner Monologue の「内なる独白」は、ReAct のより柔軟で疎な推論トレースのような意味での内なる思考を真に構成してはいないと論じている。
- 論文が述べる限界は、大きな行動空間を持つ複雑なタスクではうまく学習するためにより多くのデモンストレーションが必要となり、それがインコンテキスト学習の入力長の上限を超えうることである。著者らは、これに対処する有望な方向性として HotpotQA での初期のファインチューニング実験を報告している。
- 論文はファインチューニングの方向性を、その限界の記述から想像されるよりも先まで進めている。推論トレースを人手で注釈するコストを動機として、ReAct が生成した正解付きの 3,000 本の軌跡を用いてより小さな PaLM-8B と PaLM-62B モデルをファインチューニングし、わずか 3,000 例で ReAct がファインチューニング下で比較した 4 手法の中で最良になると報告している。著者らは Google Research のブログ記事でもこれを改めて述べている。
- 論文は付録でヒューマン・イン・ザ・ループの結果を報告している。あるステップでハルシネーションを含む文を削除し、別のステップでヒントを加える、合計 2 回の思考の編集だけで、エージェントのその後の振る舞いを方向転換させ、本来なら失敗していた ALFWorld のタスクを完了させるのに十分だった。著者らはこれを、ReAct の軌跡がいくつかの思考を編集するだけで検査・修正可能であり、新しい形の人間と機械の協働を可能にすることの証拠として示している。著者らは Google Research のブログ記事でもこれを改めて述べている。
補足
著者らは論文の GPT-3 プロンプティングのコードを MIT ライセンスのリポジトリとして公開しており、HotpotQA、FEVER、ALFWorld、WebShop のタスクごとに 1 つのノートブックと、検索・参照インターフェースのための小さな Wikipedia 環境が含まれている。実行には OpenAI の API キーが必要で、家事シミュレーションには別途 ALFWorld のインストールが必要である。マルチホップ質問応答と事実検証のベンチマークは検証セットが大きいため、公開されたノートブックはセット全体ではなく、ランダムに抽出した 500 件の開発用例で評価する。
論文自体もこの比較の一部をすでに含んでいる。付録では 4 つのタスクのうち 2 つで PaLM-540B と GPT-3（text-davinci-002）を比較し、HotpotQA で完全一致 29.4 対 30.8、ALFWorld で成功率 70.9% 対 78.4% を報告し、これを ReAct プロンプティングが異なる大規模言語モデルにわたって有効であることの確認と解釈している。リポジトリは比較を 4 タスクすべてに拡張しており、付録が扱っていない 2 つでは GPT-3 が下回っている。FEVER で完全一致 54 対 62.2、WebShop で成功率 35.8% 対 40% である。リポジトリは全体像を、PaLM と GPT-3 がそれぞれ異なるタスクを得意とするとまとめている。
リポジトリの数値のうち 2 つは論文と一致しない。リポジトリは HotpotQA での GPT-3 を完全一致 30.4 としているが、論文の付録では 30.8 となっている。また、FEVER での論文自身の PaLM-540B の結果として 62.2 を挙げているが、論文の表と本文では 60.9 と報告されている。