SonicSense: Object Perception from In-Hand Acoustic Vibration

要約

SonicSenseを紹介する。SonicSenseは、ハードウェアとソフトウェアから構成される総合的なデザインであり、手指の中の音響振動センシングを通じて、豊かなロボット物体知覚を可能にする。これまでの研究で、物体知覚のための音響センシングは有望な結果を示しているが、現在のソリューションは、単純な形状と均質な材料を持つ一握りの物体、単一指でのセンシング、同じ物体に対する混合トレーニングとテストに制約されている。SonicSenseは、コンテナの在庫状況の識別、異種材料の予測、3D形状の再構築、83の多様な実世界物体からの物体再識別を可能にします。我々のシステムは、シンプルだが効果的なヒューリスティック探索ポリシーを用いて対象物と対話し、エンドツーエンドの学習ベースのアルゴリズムを用いて振動信号を融合させ、対象物の特性を推測する。我々のフレームワークは、ロボットの触覚知覚を進歩させる上で、手の中の音響振動センシングの重要性を強調している。

要約(オリジナル)

We introduce SonicSense, a holistic design of hardware and software to enable rich robot object perception through in-hand acoustic vibration sensing. While previous studies have shown promising results with acoustic sensing for object perception, current solutions are constrained to a handful of objects with simple geometries and homogeneous materials, single-finger sensing, and mixing training and testing on the same objects. SonicSense enables container inventory status differentiation, heterogeneous material prediction, 3D shape reconstruction, and object re-identification from a diverse set of 83 real-world objects. Our system employs a simple but effective heuristic exploration policy to interact with the objects as well as end-to-end learning-based algorithms to fuse vibration signals to infer object properties. Our framework underscores the significance of in-hand acoustic vibration sensing in advancing robot tactile perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL