この arXiv プレプリントは、大規模言語モデルエージェントのアクションをどのように表現するかを扱う。 著者らは、ツールの呼び出しやロボットの制御といった幅広いアクションを実行できる LLM エージェントが、 通常はあらかじめ定義された形式の JSON やテキストを生成することでそれらのアクションを出力するよう プロンプトされていることを指摘する。著者らはこの方式に 2 つの限界を見出している。1 つは、たとえば あらかじめ定義されたツールの範囲といった、制約されたアクション空間である。もう 1 つは、たとえば 複数のツールを組み合わせられないといった、制限された柔軟性である。
論文の提案は CodeAct である。すなわち、実行可能な Python コードを用いて LLM エージェントのアクションを統一されたアクション空間に集約するというものである。Python インタープリター と統合された CodeAct は、コードアクションを実行し、マルチターンの対話を通じて、新たな観測に応じて 以前のアクションを動的に修正したり新しいアクションを発行したりできる。
著者らは、API-Bank と新たに構築したベンチマーク上で 17 の LLM を対象に大規模な分析を行い、CodeAct が 広く使われている代替手法を最大 20% 高い成功率で上回ったと報告している。この結果は、解釈可能なコードを 実行することで環境と対話し、自然言語でユーザーと協働するオープンソースの LLM エージェントを構築する 動機として示されている。そのために著者らは、CodeAct を用いた 7k のマルチターン対話からなる インストラクションチューニング用データセット CodeActInstruct を収集し、既存のデータと 併用することで、汎用的な能力を損なうことなくエージェント指向のタスクにおけるモデルの性能を改善できると 報告している。その結果得られたエージェント CodeActAgent は、Llama2 と Mistral からファインチューニングされている。
この論文は Computation and Language (cs.CL) と Artificial Intelligence (cs.AI) に分類されている。 2024 年 2 月 1 日に初めて投稿され、2024 年 6 月 7 日にバージョン 4 として最終改訂されており、arXiv が 発行した DOI 10.48550/arXiv.2402.01030 を持ち、ICML 2024 に採択された。コード、データ、モデル、 デモは https://github.com/xingyaoww/code-act で公開されているとされる。
要点
- 論文が掲げる問題は、LLM エージェントが通常、あらかじめ定義された形式の JSON やテキストとしてアクションを出力するようプロンプトされており、それがアクション空間を制約し、複数のツールを組み合わせるといった柔軟性を制限していることである。
- その代替として CodeAct が提案されている。これは、エージェントのアクションを 1 つの統一されたアクション空間に集約する実行可能な Python コードである。
- Python インタープリターが統合されているため、CodeAct はコードアクションを実行し、マルチターンの対話を通じて、新たな観測に応じて以前のアクションを動的に修正したり新しいアクションを発行したりできる。
- 報告されている評価は、API-Bank と新たに構築したベンチマーク上の 17 の LLM を対象としており、CodeAct は広く使われている代替手法を最大 20% 高い成功率で上回った。この数値に付いている「最大」という限定は論文自身によるものである。
- 著者らは CodeAct を用いた 7k のマルチターン対話である CodeActInstruct を収集し、それを既存のデータに加えることで、汎用的な能力を損なうことなくエージェント指向のタスクにおけるモデルの性能が改善すると報告している。
- Llama2 と Mistral からファインチューニングされた CodeActAgent は、この分析が動機づけたオープンソースのエージェントとして提示されている。Python インタープリターと統合され、既存のライブラリを使ったモデルの学習のような高度なタスクを実行し、自律的にセルフデバッグするよう調整されている。
補足
論文の主張は、異なる形で裏づけられた 2 つの部分からなる。JSON やテキストのアクション形式との比較は 17 モデルの分析に基づくのに対し、CodeActInstruct によるインストラクションチューニングが汎用的な能力を 損なわないという主張は、2 つのベースモデルファミリーに対する著者ら自身のファインチューニング実験に 基づいている。使用された 2 つのベンチマークも対称的ではない。API-Bank は既存のものであり、もう 1 つは 著者らがこの研究のために構築したものである。