R3L: Relative Representations for Reinforcement Learning

要約

視覚強化学習は、深い学習のブレークスルーを最大限に活用する人気のある強力なフレームワークです。
入力ドメインの変動（季節の変化によるパノラマ色の異なる）またはタスクドメイン（たとえば、車の目標速度を変更する）がエージェントのパフォーマンスを妨害し、各変動の新しいトレーニングが必要であることが知られています。
表現学習の分野における最近の進歩により、さまざまなニューラルネットワークのコンポーネントを組み合わせてゼロショットファッションで新しいモデルを作成する可能性が実証されています。
このホワイトペーパーでは、相対的な表現に基づいて、エンコーダーの埋め込みを普遍的な空間にマッピングするフレームワークに基づいています。
このフレームワークを視覚的な強化学習設定に適応させ、エージェントコンポーネントを組み合わせて、トレーニング中に遭遇しない新しいビジュアルタスクペアを効果的に処理できる新しいエージェントを作成できるようにします。
私たちの調査結果は、モデルの再利用の可能性を強調し、再訓練の必要性を大幅に削減し、その結果、必要な時間と計算リソースを強調しています。

要約(オリジナル)

Visual Reinforcement Learning is a popular and powerful framework that takes full advantage of the Deep Learning breakthrough. It is known that variations in input domains (e.g., different panorama colors due to seasonal changes) or task domains (e.g., altering the target speed of a car) can disrupt agent performance, necessitating new training for each variation. Recent advancements in the field of representation learning have demonstrated the possibility of combining components from different neural networks to create new models in a zero-shot fashion. In this paper, we build upon relative representations, a framework that maps encoder embeddings to a universal space. We adapt this framework to the Visual Reinforcement Learning setting, allowing to combine agents components to create new agents capable of effectively handling novel visual-task pairs not encountered during training. Our findings highlight the potential for model reuse, significantly reducing the need for retraining and, consequently, the time and computational resources required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google