SonicSense: Object Perception from In-Hand Acoustic Vibration

要約

SonicSense は、ハードウェアとソフトウェアの総合的な設計であり、手の音響振動センシングを通じてロボットのオブジェクトの豊かな認識を可能にします。
これまでの研究では、物体認識のための音響センシングによる有望な結果が示されていますが、現在のソリューションは、単純な形状と均質な素材を備えた少数の物体、1 本の指でのセンシング、および同じ物体に対するトレーニングとテストの混合に限定されています。
SonicSense は、コンテナの在庫ステータスの区別、異種材料の予測、3D 形状の再構築、および 83 個の実世界オブジェクトの多様なセットからのオブジェクトの再識別を可能にします。
私たちのシステムは、シンプルだが効果的なヒューリスティック探索ポリシーを採用して物体と対話するだけでなく、振動信号を融合して物体の特性を推測するためのエンドツーエンドの学習ベースのアルゴリズムも採用しています。
私たちのフレームワークは、ロボットの触覚の進歩における手の音響振動センシングの重要性を強調しています。

要約(オリジナル)

We introduce SonicSense, a holistic design of hardware and software to enable rich robot object perception through in-hand acoustic vibration sensing. While previous studies have shown promising results with acoustic sensing for object perception, current solutions are constrained to a handful of objects with simple geometries and homogeneous materials, single-finger sensing, and mixing training and testing on the same objects. SonicSense enables container inventory status differentiation, heterogeneous material prediction, 3D shape reconstruction, and object re-identification from a diverse set of 83 real-world objects. Our system employs a simple but effective heuristic exploration policy to interact with the objects as well as end-to-end learning-based algorithms to fuse vibration signals to infer object properties. Our framework underscores the significance of in-hand acoustic vibration sensing in advancing robot tactile perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google