Attention of Robot Touch: Tactile Saliency Prediction for Robust Sim-to-Real Tactile Control

要約

高解像度の触覚センシングは、接触の多いロボットタスクにおける局所的な接触に関する正確な情報を提供します。
ただし、非構造化環境でのこのようなタスクの展開については、依然として十分な調査が行われていません。
非構造化環境における触覚ロボット制御のロバスト性を向上させるために、神経科学からの人間の接触注意メカニズムとコンピュータ ビジョンからの視覚的顕著性予測問題に触発された、ロボット タッチのための新しい概念 \textit{触覚顕著性} を提案および研究します。
視覚的顕著性と同様に、この概念には、触覚センサーによってキャプチャされた触覚画像内の重要な情報を識別することが含まれます。
視覚的顕著性データセットは通常人間によって注釈が付けられますが、触覚画像の手動ラベル付けは直観に反するパターンのため困難です。
この課題に対処するために、我々は、3 つの相互に関連するネットワークで構成される新しいアプローチを提案します。1) 接触深度ネットワーク (ConDepNet)。これは、ターゲットとノイズの特徴を含む実際の触覚画像内の変形を局所化する接触深度マップを生成します。
2) 触覚顕著性ネットワーク (TacSalNet)。入力接触深度マップのターゲット領域を記述する触覚顕著性マップを予測します。
3) および TacSalNet をトレーニングするためのノイズ特徴を生成する触​​覚ノイズ ジェネレーター (TacNGen)。
ディストラクタの存在下での接触ポーズ推定とエッジ追跡の実験結果は、実際の触覚画像からターゲットの特徴を正確に予測することを示しています。
全体として、私たちの触覚顕著性予測アプローチは、未知の注意をそらすものがある環境において、堅牢なシミュレーションから現実への触覚制御を提供します。
プロジェクトページ: https://sites.google.com/view/tactile-saliency/。

要約(オリジナル)

High-resolution tactile sensing can provide accurate information about local contact in contact-rich robotic tasks. However, the deployment of such tasks in unstructured environments remains under-investigated. To improve the robustness of tactile robot control in unstructured environments, we propose and study a new concept: \textit{tactile saliency} for robot touch, inspired by the human touch attention mechanism from neuroscience and the visual saliency prediction problem from computer vision. In analogy to visual saliency, this concept involves identifying key information in tactile images captured by a tactile sensor. While visual saliency datasets are commonly annotated by humans, manually labelling tactile images is challenging due to their counterintuitive patterns. To address this challenge, we propose a novel approach comprised of three interrelated networks: 1) a Contact Depth Network (ConDepNet), which generates a contact depth map to localize deformation in a real tactile image that contains target and noise features; 2) a Tactile Saliency Network (TacSalNet), which predicts a tactile saliency map to describe the target areas for an input contact depth map; 3) and a Tactile Noise Generator (TacNGen), which generates noise features to train the TacSalNet. Experimental results in contact pose estimation and edge-following in the presence of distractors showcase the accurate prediction of target features from real tactile images. Overall, our tactile saliency prediction approach gives robust sim-to-real tactile control in environments with unknown distractors. Project page: https://sites.google.com/view/tactile-saliency/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google