Opening Articulated Structures in the Real World

要約

以前に見えなかった環境で、以前に見えなかったオブジェクトで有能に動作できるモバイル操作システムを構築するには何が必要ですか？
この作業は、モバイル操作テストベッドとして明確な構造を開くことを使用して、この質問に答えます。
具体的には、私たちの焦点は、特権情報なしでこのタスクのエンドツーエンドのパフォーマンスにあります。つまり、ロボットは、新しいターゲットの明確なオブジェクトが表示されている場所から始まり、オブジェクトにアプローチして正常に開く必要があります。
最初にこのタスクのシステムを開発し、次に13の実際のテストサイトで100以上のエンドツーエンドシステムテストを実施します。
私たちの大規模な研究は、多くの驚くべき発見を明らかにしています：a）モジュラーシステムは、エンドツーエンドの学習システムが1000+以上のデモンストレーションでトレーニングされている場合でも、このタスクのエンドツーエンドの学習システムを上回ります。b）知覚、および正確なエンドエフェクターコントロールではなく、タスクの成功への主要なボトルネックであり、c）最先端の芸術的パラメーターの推定モデルが現場で描かれている場合に、最先端のアーチキュレーションパラメーターの推定モデルが開発されました。
全体として、我々の調査結果は、パイプラインの成分の開発の限界を単独で強調し、システムレベルの研究の必要性を強調し、一般化可能なモバイル操作システムを構築するための実用的なロードマップを提供します。
ビデオ、コード、モデルはプロジェクトWebサイト：https：//arjung128.github.io/opening-articulaturet-crutures/で入手できます。

要約(オリジナル)

What does it take to build mobile manipulation systems that can competently operate on previously unseen objects in previously unseen environments? This work answers this question using opening of articulated structures as a mobile manipulation testbed. Specifically, our focus is on the end-to-end performance on this task without any privileged information, i.e. the robot starts at a location with the novel target articulated object in view, and has to approach the object and successfully open it. We first develop a system for this task, and then conduct 100+ end-to-end system tests across 13 real world test sites. Our large-scale study reveals a number of surprising findings: a) modular systems outperform end-to-end learned systems for this task, even when the end-to-end learned systems are trained on 1000+ demonstrations, b) perception, and not precise end-effector control, is the primary bottleneck to task success, and c) state-of-the-art articulation parameter estimation models developed in isolation struggle when faced with robot-centric viewpoints. Overall, our findings highlight the limitations of developing components of the pipeline in isolation and underscore the need for system-level research, providing a pragmatic roadmap for building generalizable mobile manipulation systems. Videos, code, and models are available on the project website: https://arjung128.github.io/opening-articulated-structures/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google