An Investigation into Pre-Training Object-Centric Representations for Reinforcement Learning

要約

タイトル：強化学習のための事前学習オブジェクト中心の表現に関する調査

要約：

– 未監督学習によるオブジェクト中心の表現（OCR）学習が、視覚表現の新しいパラダイムとして注目を集めている。これは、サンプル効率性、システマティックな汎用性、および推論能力の面で、さまざまな下流タスクに対して効果的な事前トレーニング技術である可能性があるため。
– 画像ベースの強化学習（RL）は、最も重要であり、以前から頻繁に言及されている下流タスクの1つであるが、RLでの利点は驚くほどまだ系統的に調査されていない。代わりに、評価のほとんどは、セグメンテーション品質やオブジェクト特性の予測精度など、あまり直接的ではないメトリックに焦点を当てている。
– この論文では、経験的な実験を通じて、OCR事前トレーニングが画像ベースの強化学習においてどのように効果的かについて調査する。系統的な評価のために、簡単なオブジェクト中心のビジュアルRLベンチマークを導入し、OCR事前トレーニングが「オブジェクト中心のタスクのパフォーマンスを向上させるか？」、「OCR事前トレーニングは分布外一般化に役立つか？」などの質問に答える実験を行う。
– 我々の結果は、OCR事前トレーニングのRLにおける効果の価値ある見識と、特定のシナリオでの使用の潜在的な制限を提供する実証的な証拠を提供している。また、本研究では、視覚的に複雑な環境でのパフォーマンスや、オブジェクト表現を集約するための適切なプーリング層など、OCR事前トレーニングをRLに組み込むための重要な側面も検討している。

要約(オリジナル)

Unsupervised object-centric representation (OCR) learning has recently drawn attention as a new paradigm of visual representation. This is because of its potential of being an effective pre-training technique for various downstream tasks in terms of sample efficiency, systematic generalization, and reasoning. Although image-based reinforcement learning (RL) is one of the most important and thus frequently mentioned such downstream tasks, the benefit in RL has surprisingly not been investigated systematically thus far. Instead, most of the evaluations have focused on rather indirect metrics such as segmentation quality and object property prediction accuracy. In this paper, we investigate the effectiveness of OCR pre-training for image-based reinforcement learning via empirical experiments. For systematic evaluation, we introduce a simple object-centric visual RL benchmark and conduct experiments to answer questions such as “Does OCR pre-training improve performance on object-centric tasks?” and “Can OCR pre-training help with out-of-distribution generalization?”. Our results provide empirical evidence for valuable insights into the effectiveness of OCR pre-training for RL and the potential limitations of its use in certain scenarios. Additionally, this study also examines the critical aspects of incorporating OCR pre-training in RL, including performance in a visually complex environment and the appropriate pooling layer to aggregate the object representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI