Train Offline, Test Online: A Real Robot Learning Benchmark

要約

3 つの課題がロボット学習研究の進歩を制限しています。ロボットは高価である (参加できる研究室がほとんどない)、誰もが異なるロボットを使用している (研究結果が研究室間で一般化しない)、そしてインターネット規模のロボット工学データが不足しています。
私たちは、オフラインでトレーニングし、オンラインでテストする (TOTO) という新しいベンチマークを通じてこれらの課題に取り組みます。
TOTO は、リモート ユーザーに、一般的なタスクの方法を評価するための共有ロボット ハードウェアと、オフライン トレーニング用のこれらのタスクのオープンソース データセットへのアクセスを提供します。
その操作タスク スイートでは、目に見えないオブジェクト、位置、照明に対する困難な一般化が必要です。
我々は、5 つの機関がリモートで提供した 5 つの事前トレーニング済み視覚表現と 4 つのオフライン政策学習ベースラインを比較した TOTO に関する初期結果を紹介します。
しかし、TOTO の本当の約束は将来にあります。私たちはあらゆるユーザーからの追加提出に対してベンチマークをリリースし、ハードウェアを入手したりデータを収集したりすることなく、いくつかの方法を簡単に直接比較できるようにします。

要約(オリジナル)

Three challenges limit the progress of robot learning research: robots are expensive (few labs can participate), everyone uses different robots (findings do not generalize across labs), and we lack internet-scale robotics data. We take on these challenges via a new benchmark: Train Offline, Test Online (TOTO). TOTO provides remote users with access to shared robotic hardware for evaluating methods on common tasks and an open-source dataset of these tasks for offline training. Its manipulation task suite requires challenging generalization to unseen objects, positions, and lighting. We present initial results on TOTO comparing five pretrained visual representations and four offline policy learning baselines, remotely contributed by five institutions. The real promise of TOTO, however, lies in the future: we release the benchmark for additional submissions from any user, enabling easy, direct comparison to several methods without the need to obtain hardware or collect data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google