Stimulating Imagination: Towards General-purpose Object Rearrangement

要約

汎用オブジェクトの配置は、インテリジェント汎用ロボットの基本的な機能です。つまり、新しい環境でも人間の指示に従ってオブジェクトを再配置できます。
これを達成するために、再配置をオブジェクトの位置特定、目標の想像力、ロボットの制御を含む 3 つの部分に分割し、SPORT と名付けられたフレームワークを提案します。
SPORT は、オブジェクトに関する広範な意味論的推論のために事前トレーニング済みの大型ビジョン モデルを活用し、拡散ベースの 3D 姿勢推定器を学習して物理的に現実的な結果を保証します。
これら 2 つの部分間ではオブジェクト タイプ (移動または参照) のみが通信されるため、2 つの利点がもたらされます。
1 つは、ロボット シナリオでは特定の微調整が必​​要ないため、オープンセットのオブジェクトの位置特定と認識の強力な機能を最大限に活用できることです。
さらに、拡散ベースの推定器は、配置後の移動オブジェクトと参照オブジェクトの姿勢を「想像」するだけでよく、それらの意味情報は必要ありません。
したがって、トレーニングの負担が大幅に軽減され、大規模なトレーニングは必要ありません。
ゴールポーズ推定のトレーニング データはシミュレーションで収集され、GPT-4 で注釈が付けられます。
一連のシミュレーションと現実世界での実験は、正確な指示に従ってさまざまなオブジェクトを配置する、汎用オブジェクトの再配置を達成するための私たちのアプローチの可能性を示しています。

要約(オリジナル)

General-purpose object placement is a fundamental capability of an intelligent generalist robot, i.e., being capable of rearranging objects following human instructions even in novel environments. To achieve this, we break the rearrangement down into three parts, including object localization, goal imagination and robot control, and propose a framework named SPORT. SPORT leverages pre-trained large vision models for broad semantic reasoning about objects, and learns a diffusion-based 3D pose estimator to ensure physically-realistic results. Only object types (to be moved or reference) are communicated between these two parts, which brings two benefits. One is that we can fully leverage the powerful ability of open-set object localization and recognition since no specific fine-tuning is needed for robotic scenarios. Furthermore, the diffusion-based estimator only need to ‘imagine’ the poses of the moving and reference objects after the placement, while no necessity for their semantic information. Thus the training burden is greatly reduced and no massive training is required. The training data for goal pose estimation is collected in simulation and annotated with GPT-4. A set of simulation and real-world experiments demonstrate the potential of our approach to accomplish general-purpose object rearrangement, placing various objects following precise instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google