Reflexion は、言語エージェント — ゲーム、コンパイラ、API などの環境で目標志向のエージェントとして振る舞う大規模言語モデル — を、モデルの重みを更新するのではなく言語によるフィードバックを通じて改善するためのフレームワークであり、Reflexion：言語による強化学習を行う言語エージェント で提案された。タスクを試みた後、Reflexion エージェントは受け取ったフィードバックのシグナルについて言語で省察し、その省察のテキストをエピソード記憶のバッファに保存する。以降の試行では、保存された省察を用いてより良い意思決定を促す。フィードバックはスカラー値でも自由形式の言語でもよく、外部から与えられることも、内部でシミュレートされることもある。
用法
著者らはこれを、言語エージェントにとっての従来の強化学習に代わるものとして提示している。従来の強化学習について著者らは、大量の訓練サンプルと高コストなファインチューニングを必要とするものだと述べている。著者らはこれを逐次的な意思決定、コーディング、言語推論のタスクに適用しており、コーディングのベンチマークである HumanEval では、GPT-4 の 80% に対して 91% の pass@1 を報告している。
適用される場面
このフレームワークが当てはまるのは、エージェントがタスクに繰り返し取り組み、各試行について言語による省察に変換できる何らかのフィードバックのシグナルを受け取る場面である。エージェントがモデルの訓練を通じて学習するのではなく、その省察のテキストを記憶を通じて後の試行へと引き継げることを前提としている。ここに記録されている水準での根拠は、提案論文自身による評価である。この評価はベースラインのエージェントに対する改善を報告しており、フィードバックのシグナル、フィードバックの取り込み方法、エージェントの種類についてのアブレーションを含んでいる。