General In-Hand Object Rotation with Vision and Touch

要約

マルチモーダルな感覚入力を活用して、指先ベースの複数の軸に沿ったオブジェクトの回転を可能にするシステム、RotateIt を紹介します。
私たちのシステムはシミュレーションでトレーニングされており、グラウンドトゥルースのオブジェクトの形状と物理的特性にアクセスできます。
次に、それを抽出して、現実的だがノイズの多いシミュレートされた視覚触覚および固有受容感覚入力を操作します。
これらのマルチモーダル入力は視覚触覚トランスフォーマーを介して融合され、展開中にオブジェクトの形状と物理的特性をオンラインで推論できるようになります。
従来の方法と比較して大幅なパフォーマンスの向上と、視覚および触覚センシングの重要性を示します。

要約(オリジナル)

We introduce RotateIt, a system that enables fingertip-based object rotation along multiple axes by leveraging multimodal sensory inputs. Our system is trained in simulation, where it has access to ground-truth object shapes and physical properties. Then we distill it to operate on realistic yet noisy simulated visuotactile and proprioceptive sensory inputs. These multimodal inputs are fused via a visuotactile transformer, enabling online inference of object shapes and physical properties during deployment. We show significant performance improvements over prior methods and the importance of visual and tactile sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google