When Pre-trained Visual Representations Fall Short: Limitations in Visuo-Motor Robot Learning

要約

事前に訓練された視覚表現（PVR）が視覚エンコーダーをゼロからトレーニングするための有望な代替手段として登場しました。
ただし、PVRは、一時的な絡み合いや、小さなシーンの摂動の存在下でも一般化できないことを含む、政策学習の文脈で重要な課題に直面しています。
これらの制限は、シーンの変化に対する一時的な認識と堅牢性を必要とするタスクのパフォーマンスを妨げます。
この作業はこれらの欠点を特定し、それらに対処するための解決策を提案します。
まず、一時的な知覚とタスク完了の感覚でPVR機能を強化し、効果的にそれらを時間内に解き放ちます。
第二に、タスク関連のローカル機能に選択的に注意を払うことを学ぶモジュールを紹介し、分散型シーンで評価されると堅牢性を高めます。
私たちの実験は、特にマスキング目標で訓練されたPVRでの大幅なパフォーマンスの改善を示し、PVR固有の制限に対処する際の強化の有効性を検証します。

要約(オリジナル)

The integration of pre-trained visual representations (PVRs) into visuo-motor robot learning has emerged as a promising alternative to training visual encoders from scratch. However, PVRs face critical challenges in the context of policy learning, including temporal entanglement and an inability to generalise even in the presence of minor scene perturbations. These limitations hinder performance in tasks requiring temporal awareness and robustness to scene changes. This work identifies these shortcomings and proposes solutions to address them. First, we augment PVR features with temporal perception and a sense of task completion, effectively disentangling them in time. Second, we introduce a module that learns to selectively attend to task-relevant local features, enhancing robustness when evaluated on out-of-distribution scenes. Our experiments demonstrate significant performance improvements, particularly in PVRs trained with masking objectives, and validate the effectiveness of our enhancements in addressing PVR-specific limitations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google