Generalizable Visual Reinforcement Learning with Segment Anything Model

要約

目に見えない環境に一般化できる学習ポリシーは、視覚強化学習 (RL) における基本的な課題です。
現在の手法のほとんどは、補助的な監視、事前トレーニング、またはデータ拡張を通じて堅牢な視覚表現を取得することに重点を置いていますが、最新の視覚基盤モデルの可能性は依然として十分に活用されていません。
この研究では、セグメント エニシング モデル (SAM) のプロンプト可能なセグメンテーション機能を利用してビジュアル RL エージェントの汎化機能を強化する新しいフレームワークである、一般化可能なビジュアル RL のためのセグメント エニシング モデル (SAM-G) を紹介します。
DINOv2 と SAM の画像機能を利用して、SAM へのポイント プロンプトとしての対応を見つけ、SAM がエージェント向けに高品質のマスクされた画像を直接生成します。
8 つの DMControl タスクと 3 つの Adroit タスクにわたって評価された SAM-G は、RL エージェントのアーキテクチャを変更することなく、観察のみを変更することなく、視覚的な汎化能力を大幅に向上させます。
特に、SAM-G は、最先端の方法と比較して、DMControl と Adroit の難しいビデオ ハード設定でそれぞれ 44% と 29% の相対的な改善を達成しました。
ビデオとコード: https://yanjieze.com/SAM-G/

要約(オリジナル)

Learning policies that can generalize to unseen environments is a fundamental challenge in visual reinforcement learning (RL). While most current methods focus on acquiring robust visual representations through auxiliary supervision, pre-training, or data augmentation, the potential of modern vision foundation models remains underleveraged. In this work, we introduce Segment Anything Model for Generalizable visual RL (SAM-G), a novel framework that leverages the promptable segmentation ability of Segment Anything Model (SAM) to enhance the generalization capabilities of visual RL agents. We utilize image features from DINOv2 and SAM to find correspondence as point prompts to SAM, and then SAM produces high-quality masked images for agents directly. Evaluated across 8 DMControl tasks and 3 Adroit tasks, SAM-G significantly improves the visual generalization ability without altering the RL agents’ architecture but merely their observations. Notably, SAM-G achieves 44% and 29% relative improvements on the challenging video hard setting on DMControl and Adroit respectively, compared to state-of-the-art methods. Video and code: https://yanjieze.com/SAM-G/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google