RFTF: Reinforcement Fine-tuning for Embodied Agents with Temporal Feedback

要約

Vision-Language-action（VLA）モデルは、具体化されたインテリジェンスの分野で重要な可能性を示しており、エージェントが人間の指示に従って物理的環境で複雑なタスクを完了することを可能にします。
既存の具体化されたエージェントは、多くの場合、行動のクローニングを通じて訓練されます。これは、高価なデータと計算リソースが必要であり、人間のデモによって制約されています。
この問題に対処するために、多くの研究者が具体化されたエージェントに補強微調整の適用を調査します。
ただし、具体化されたエージェントの典型的な補強微調整方法は通常、エピソード内の特定のアクションにきめ細かいフィードバックを提供するのに苦労しているため、モデルの操作機能と一般化パフォーマンスを制限することに苦労しています。
この論文では、具体化されたシナリオで密な報酬を生成するためにバリューモデルを活用する新しい強化微調整方法であるRFTFを提案します。
具体的には、当社のバリューモデルは一時的な情報を使用してトレーニングされており、コストのかかるロボットアクションラベルの必要性を排除します。
さらに、RFTFには、GAEやサンプルバランスなどのさまざまな手法が組み込まれており、微調整プロセスの有効性を高めます。
強化微調整におけるまばらな報酬の問題に対処することにより、この方法は具体化されたエージェントのパフォーマンスを大幅に改善し、多様な具体化されたタスク全体で優れた一般化と適応機能を提供します。
実験結果は、RFTFで微調整された具体化されたエージェントが、平均成功長の4.296で、挑戦的なCalvin ABC-Dで新しい最先端のパフォーマンスを達成することを示しています。
さらに、RFTFは新しい環境への迅速な適応を可能にします。
いくつかのエピソードでカルバンのD環境で微調整した後、RFTFはこの新しい環境で平均成功期間4.301を達成しました。

要約(オリジナル)

Vision-Language-Action (VLA) models have demonstrated significant potential in the field of embodied intelligence, enabling agents to follow human instructions to complete complex tasks in physical environments. Existing embodied agents are often trained through behavior cloning, which requires expensive data and computational resources and is constrained by human demonstrations. To address this issue, many researchers explore the application of reinforcement fine-tuning to embodied agents. However, typical reinforcement fine-tuning methods for embodied agents usually rely on sparse, outcome-based rewards, which struggle to provide fine-grained feedback for specific actions within an episode, thus limiting the model’s manipulation capabilities and generalization performance. In this paper, we propose RFTF, a novel reinforcement fine-tuning method that leverages a value model to generate dense rewards in embodied scenarios. Specifically, our value model is trained using temporal information, eliminating the need for costly robot action labels. In addition, RFTF incorporates a range of techniques, such as GAE and sample balance to enhance the effectiveness of the fine-tuning process. By addressing the sparse reward problem in reinforcement fine-tuning, our method significantly improves the performance of embodied agents, delivering superior generalization and adaptation capabilities across diverse embodied tasks. Experimental results show that embodied agents fine-tuned with RFTF achieve new state-of-the-art performance on the challenging CALVIN ABC-D with an average success length of 4.296. Moreover, RFTF enables rapid adaptation to new environments. After fine-tuning in the D environment of CALVIN for a few episodes, RFTF achieved an average success length of 4.301 in this new environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google