Towards Open-World Mobile Manipulation in Homes: Lessons from the Neurips 2023 HomeRobot Open Vocabulary Mobile Manipulation Challenge

要約

多用途かつ有能なホームアシスタントとして効果的に機能するロボットを開発するには、多様な環境でさまざまな物体を確実に認識し、対話できることが重要です。
この目的を達成するために、私たちはロボット工学の主要なベンチマーク タスクとしてオープン ボキャブラリー モバイル操作を提案しました。これは、新しい環境で任意のオブジェクトを見つけて、その環境内の任意の容器表面にそれを配置することです。
この課題に対するソリューションを評価するために、シミュレーションと現実世界のコンポーネントの両方をフィーチャーした NeurIPS 2023 コンペティションを開催しました。
シミュレーションで実際の知覚を使用した、このタスクの最も困難なバージョンに関するベースラインでは、成功率はわずか 0.8% でした。
コンテストが終了するまでに、最も優れた参加者は 10.8% の成功率を達成し、13 倍の向上を達成しました。
私たちは、最も成功したチームがさまざまな方法を採用していることを観察しましたが、最良のソリューションには 2 つの共通点が浮かび上がってきました。それは、エラーの検出と回復を強化すること、もう 1 つは認識と意思決定プロセスの統合を改善することです。
このペーパーでは、シミュレーションと現実世界の設定の両方で使用された結果と方法論について詳しく説明します。
得られた教訓と、それが将来の研究に与える影響について話し合います。
さらに、実際の環境とシミュレートされた環境でパフォーマンスを比較し、新しい設定に対する堅牢な一般化の必要性を強調します。

要約(オリジナル)

In order to develop robots that can effectively serve as versatile and capable home assistants, it is crucial for them to reliably perceive and interact with a wide variety of objects across diverse environments. To this end, we proposed Open Vocabulary Mobile Manipulation as a key benchmark task for robotics: finding any object in a novel environment and placing it on any receptacle surface within that environment. We organized a NeurIPS 2023 competition featuring both simulation and real-world components to evaluate solutions to this task. Our baselines on the most challenging version of this task, using real perception in simulation, achieved only an 0.8% success rate; by the end of the competition, the best participants achieved an 10.8\% success rate, a 13x improvement. We observed that the most successful teams employed a variety of methods, yet two common threads emerged among the best solutions: enhancing error detection and recovery, and improving the integration of perception with decision-making processes. In this paper, we detail the results and methodologies used, both in simulation and real-world settings. We discuss the lessons learned and their implications for future research. Additionally, we compare performance in real and simulated environments, emphasizing the necessity for robust generalization to novel settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google