Non-rigid Relative Placement through 3D Dense Diffusion

要約

「相対配置」のタスクは、あるオブジェクトの別のオブジェクトに対する配置を予測することです。
マグカップをマグラックに置きます。
明示的なオブジェクト中心の幾何学的推論を通じて、相対配置の最近の方法は、目に見えないタスクのバリエーションを一般化しながら、ロボット操作のためのデータ効率の高い学習に向けて大きな進歩を遂げました。
ただし、現実世界の設定では非剛体が遍在しているにもかかわらず、変形可能な変換はまだ表現されていません。
このギャップを埋めるための最初のステップとして、我々は、相対配置の原則を変形可能なオブジェクト間の幾何学的関係に拡張した「交差変位」を提案し、高密度拡散を通じて交差変位を学習するための新しい視覚ベースの方法を提示します。
この目的を達成するために、以前の研究の範囲を超えて、（シミュレーションと現実世界の両方で）複数の高度に変形可能なタスクに関する、目に見えないオブジェクト インスタンス、配布外のシーン構成、およびマルチモーダルな目標に一般化するメソッドの能力を実証します。
補足情報とビデオは https://sites.google.com/view/tax3d-corl-2024 でご覧いただけます。

要約(オリジナル)

The task of ‘relative placement’ is to predict the placement of one object in relation to another, e.g. placing a mug onto a mug rack. Through explicit object-centric geometric reasoning, recent methods for relative placement have made tremendous progress towards data-efficient learning for robot manipulation while generalizing to unseen task variations. However, they have yet to represent deformable transformations, despite the ubiquity of non-rigid bodies in real world settings. As a first step towards bridging this gap, we propose “cross-displacement’ – an extension of the principles of relative placement to geometric relationships between deformable objects – and present a novel vision-based method to learn cross-displacement through dense diffusion. To this end, we demonstrate our method’s ability to generalize to unseen object instances, out-of-distribution scene configurations, and multimodal goals on multiple highly deformable tasks (both in simulation and in the real world) beyond the scope of prior works. Supplementary information and videos can be found at https://sites.google.com/view/tax3d-corl-2024 .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google