Train Offline, Test Online: A Real Robot Learning Benchmark

要約

それは、ロボットが高価であること（参加できる研究室が少ない）、皆が異なるロボットを使用していること（研究室間で知見が一般化されない）、そしてインターネット規模のロボットデータが不足していることである。我々は、新しいベンチマークによってこれらの課題に挑む：Train Offline, Test Online (TOTO)である。TOTOは、一般的なタスクでメソッドを評価するための共有ロボットハードウェアと、オフライントレーニングのためのこれらのタスクのオープンソースデータセットへのアクセスをリモートユーザーに提供します。その操作タスク群は、未見の物体、位置、照明に対する困難な汎化を必要とする。我々は、5つの機関から遠隔提供された5つの事前学習済み視覚表現と4つのオフライン政策学習ベースラインを比較したTOTOの初期結果を発表する。しかし、TOTOの真の期待は将来にある。我々は、あらゆるユーザーからの追加投稿のためにベンチマークを公開し、ハードウェアを入手したりデータを収集したりする必要なく、複数の手法との容易で直接的な比較を可能にする。

要約(オリジナル)

Three challenges limit the progress of robot learning research: robots are expensive (few labs can participate), everyone uses different robots (findings do not generalize across labs), and we lack internet-scale robotics data. We take on these challenges via a new benchmark: Train Offline, Test Online (TOTO). TOTO provides remote users with access to shared robotic hardware for evaluating methods on common tasks and an open-source dataset of these tasks for offline training. Its manipulation task suite requires challenging generalization to unseen objects, positions, and lighting. We present initial results on TOTO comparing five pretrained visual representations and four offline policy learning baselines, remotely contributed by five institutions. The real promise of TOTO, however, lies in the future: we release the benchmark for additional submissions from any user, enabling easy, direct comparison to several methods without the need to obtain hardware or collect data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL