Improving Vision-Language-Action Model with Online Reinforcement Learning

要約

最近の研究は、エキスパートロボットデータセットを使用した監視付き微調整（SFT）により、大きなビジョン言語モデル（VLMS）を低レベルのロボット制御に統合し、Vision-Language-action（VLA）モデルと呼ばれるものになりました。
VLAモデルは強力ですが、環境との相互作用中にこれらの大きなモデルを改善する方法は未解決の問題です。
この論文では、大規模なモデルで一般的に使用される微調整技術であるRenforcement Learning（RL）を介して、これらのVLAモデルをさらに改善する方法について説明します。
ただし、大規模なVLAモデルにオンラインRLを直接適用すると、大規模なモデルのパフォーマンスに深刻な影響を与えるトレーニング不安定性や、ほとんどのローカルマシンの機能を超えるコンピューティングの負担など、大きな課題が発生することがわかります。
これらの課題に対処するために、補強学習とVLAモデルを効果的に改善するための監督された学習の間を反復するIRE-VLAフレームワークを提案し、監視された学習の安定性を維持しながらRLの探索的利点を活用します。
2つのシミュレートされたベンチマークと実際の操作スイートでの実験により、この方法の有効性が検証されます。

要約(オリジナル)

Recent studies have successfully integrated large vision-language models (VLMs) into low-level robotic control by supervised fine-tuning (SFT) with expert robotic datasets, resulting in what we term vision-language-action (VLA) models. Although the VLA models are powerful, how to improve these large models during interaction with environments remains an open question. In this paper, we explore how to further improve these VLA models via Reinforcement Learning (RL), a commonly used fine-tuning technique for large models. However, we find that directly applying online RL to large VLA models presents significant challenges, including training instability that severely impacts the performance of large models, and computing burdens that exceed the capabilities of most local machines. To address these challenges, we propose iRe-VLA framework, which iterates between Reinforcement Learning and Supervised Learning to effectively improve VLA models, leveraging the exploratory benefits of RL while maintaining the stability of supervised learning. Experiments in two simulated benchmarks and a real-world manipulation suite validate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google