FlowBotHD: History-Aware Diffuser Handling Ambiguities in Articulated Objects Manipulation

要約

我々は、ドアを開けるなどの曖昧な関節オブジェクトを操作するための新しいアプローチを導入します。この場合、マルチモダリティとオクルージョンにより、開く側と方向に関する曖昧さが生じます。
マルチモダリティは、完全に閉じたドアの開け方（押す、引く、スライドする）が不確かな場合や、どちら側から開けるべきかが不明確な場合に発生します。
オクルージョンにより、特定の角度からドアの形状がさらに不明瞭になり、オクルージョン中にさらに曖昧さが生じます。
これらの課題に取り組むために、我々は、多関節オブジェクトのマルチモーダル分布をモデル化し、履歴を使用してアクションの曖昧さを解消し、オクルージョン下で安定した予測を行う、履歴を意識した拡散ネットワークを提案します。
実験と分析は、私たちの方法の最先端のパフォーマンス、特に曖昧さによって引き起こされる故障モードの改善を実証します。
私たちのプロジェクトの Web サイトは https://flowbothd.github.io/ から入手できます。

要約(オリジナル)

We introduce a novel approach to manipulate articulated objects with ambiguities, such as opening a door, in which multi-modality and occlusions create ambiguities about the opening side and direction. Multi-modality occurs when the method to open a fully closed door (push, pull, slide) is uncertain, or the side from which it should be opened is uncertain. Occlusions further obscure the door’s shape from certain angles, creating further ambiguities during the occlusion. To tackle these challenges, we propose a history-aware diffusion network that models the multi-modal distribution of the articulated object and uses history to disambiguate actions and make stable predictions under occlusions. Experiments and analysis demonstrate the state-of-art performance of our method and specifically improvements in ambiguity-caused failure modes. Our project website is available at https://flowbothd.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google