An Unbiased Look at Datasets for Visuo-Motor Pre-Training

要約

視覚表現の学習はロボット工学にとって大きな期待を持っていますが、ロボット工学のデータセットの不足と均一性によって大きく妨げられています。
最近の研究では、大規模だが領域外のデータ (自己中心的なインタラクションのビデオなど) で視覚表現を事前トレーニングし、それをターゲットのロボットタスクに転送することで、この問題に対処しています。
この分野では、より優れた事前トレーニング アルゴリズムの開発に重点が置かれていますが、このパラダイムの成功にはデータセットの選択も同様に重要であることがわかりました。
結局のところ、表現は事前トレーニング データセットに存在する構造または事前分布のみを学習できます。
この目的を達成するために、私たちはアルゴリズムに焦点を当て、代わりにロボットの事前トレーニングのデータセット中心の分析を実施します。
私たちの調査結果は、この分野の常識に疑問を投げかけています。
私たちは、従来の視覚データセット (ImageNet、Kinetics、100 Days of Hands など) が視覚運動表現学習にとって驚くほど競争力のあるオプションであり、トレーニング前のデータセットの画像分布がそのサイズよりも重要であることを観察しています。
最後に、一般的なシミュレーション ベンチマークは現実世界のパフォーマンスの信頼できる代用ではなく、単純な正則化戦略が現実世界のポリシー学習を劇的に改善できることを示します。
https://data4robotics.github.io

要約(オリジナル)

Visual representation learning hold great promise for robotics, but is severely hampered by the scarcity and homogeneity of robotics datasets. Recent works address this problem by pre-training visual representations on large-scale but out-of-domain data (e.g., videos of egocentric interactions) and then transferring them to target robotics tasks. While the field is heavily focused on developing better pre-training algorithms, we find that dataset choice is just as important to this paradigm’s success. After all, the representation can only learn the structures or priors present in the pre-training dataset. To this end, we flip the focus on algorithms, and instead conduct a dataset centric analysis of robotic pre-training. Our findings call into question some common wisdom in the field. We observe that traditional vision datasets (like ImageNet, Kinetics and 100 Days of Hands) are surprisingly competitive options for visuo-motor representation learning, and that the pre-training dataset’s image distribution matters more than its size. Finally, we show that common simulation benchmarks are not a reliable proxy for real world performance and that simple regularization strategies can dramatically improve real world policy learning. https://data4robotics.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google