Re-ReST: Reflection-Reinforced Self-Training for Language Agents

要約

推論的アクションの軌跡を備えた微調整言語エージェントは効果的ですが、人間の注釈またはより強力なモデルからこれらの軌跡を取得することは、費用がかかり、時には非現実的です。
この論文では、言語エージェントでの自己訓練の使用を調査します。言語エージェントは、エージェント自体から監督を生み出し、人間またはより強力なモデルデモンストレーションに依存せずに有望な代替案を提供します。
ただし、セルフトレーニングには、高品質のモデル生成サンプルが必要であり、言語エージェントのタスクに挑戦するのが難しいです。
これに対処するために、\ textit {refector}を使用して自己トレーニング中に低品質の生成サンプルを改良する反射強化自己訓練（再レスト）を提示します。
リフレクターは、エージェントの出力と外部環境（コード生成の単体テスト結果など）からのフィードバックを取得して、改善されたサンプルを生成します。
この手法は、劣ったサンプルの品質を向上させ、高品質のサンプルで自己トレーニングデータセットを効率的に濃縮します。
マルチホップの質問応答、連続的な意思決定、コード生成、視覚的質問の回答、テキストへのイメージからの生成など、タスク全体でオープンソース言語エージェントに関する広範な実験を実施します。
結果は、言語エージェントのタスクにおける自己訓練と再レストの有効性を示しており、自己訓練はベースラインをHotPotQAで7.6 \％、Alfworldで28.4 \％で改善し、再レストをそれぞれ2.0 \％と14.1 \％増加させます。
また、私たちの研究は、リフレクターを使用して自己訓練用の高品質のサンプルを生成する効率を確認しています。
さらに、以前の反射作業の制限に対処するために、根真実のフィードバックなしで推論中に反射を採用する方法を実証します。
私たちのコードはhttps://github.com/pluslabnlp/re-restでリリースされています。

要約(オリジナル)

Finetuning language agents with reasoning-action trajectories is effective, but obtaining these trajectories from human annotations or stronger models is costly and sometimes impractical. In this paper, we investigate the use of self-training in language agents, which can generate supervision from the agent itself, offering a promising alternative without relying on human or stronger model demonstrations. Self-training, however, requires high-quality model-generated samples, which are hard to obtain for challenging language agent tasks. To address this, we present Reflection-Reinforced Self-Training (Re-ReST), which uses a \textit{reflector} to refine low-quality generated samples during self-training. The reflector takes the agent’s output and feedback from an external environment (e.g., unit test results in code generation) to produce improved samples. This technique enhances the quality of inferior samples and efficiently enriches the self-training dataset with higher-quality samples. We conduct extensive experiments on open-source language agents across tasks, including multi-hop question answering, sequential decision-making, code generation, visual question answering, and text-to-image generation. The results demonstrate the effectiveness of self-training and Re-ReST in language agent tasks, with self-training improving baselines by 7.6\% on HotpotQA and 28.4\% on AlfWorld, and Re-ReST further boosting performance by 2.0\% and 14.1\%, respectively. Our studies also confirm the efficiency of using a reflector to generate high-quality samples for self-training. Moreover, we demonstrate a method to employ reflection during inference without ground-truth feedback, addressing the limitation of previous reflection work. Our code is released at https://github.com/PlusLabNLP/Re-ReST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google