Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking

要約

多関節オブジェクトの操作には正確なオブジェクトの相互作用が必要であり、オブジェクトの軸を慎重に考慮する必要があります。
これまでの研究では、多関節オブジェクトを操作するためにインタラクティブな知覚が採用されていましたが、通常、オープンループのアプローチではインタラクションのダイナミクスを見落とすことがよくありました。
この制限に対処するために、セグメント化された 3D 点群からのオンライン軸推定とインタラクティブな知覚を統合する閉ループ パイプラインを提案します。
私たちの方法は、インタラクティブな知覚の基礎としてあらゆるインタラクティブな知覚技術を利用し、わずかなオブジェクトの動きを誘発して、進化する動的シーンの点群フレームを生成します。
これらの点群は、Segment Anything Model 2 (SAM2) を使用してセグメント化され、その後、正確なモーション オンライン軸推定のためにオブジェクトの可動部分がマスクされ、後続のロボット動作をガイドします。
私たちのアプローチは、多関節オブジェクトを含む操作タスクの精度と効率を大幅に向上させます。
シミュレートされた環境での実験では、特に正確な軸ベースの制御が必要なタスクにおいて、私たちの方法がベースラインのアプローチよりも優れていることが実証されています。
プロジェクトページ: https://hytidel.github.io/video-tracking-for-axis-estimation/。

要約(オリジナル)

Articulated object manipulation requires precise object interaction, where the object’s axis must be carefully considered. Previous research employed interactive perception for manipulating articulated objects, but typically, open-loop approaches often suffer from overlooking the interaction dynamics. To address this limitation, we present a closed-loop pipeline integrating interactive perception with online axis estimation from segmented 3D point clouds. Our method leverages any interactive perception technique as a foundation for interactive perception, inducing slight object movement to generate point cloud frames of the evolving dynamic scene. These point clouds are then segmented using Segment Anything Model 2 (SAM2), after which the moving part of the object is masked for accurate motion online axis estimation, guiding subsequent robotic actions. Our approach significantly enhances the precision and efficiency of manipulation tasks involving articulated objects. Experiments in simulated environments demonstrate that our method outperforms baseline approaches, especially in tasks that demand precise axis-based control. Project Page: https://hytidel.github.io/video-tracking-for-axis-estimation/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google