Visual Contact Pressure Estimation for Grippers in the Wild

要約

グリッパーによって適用される接触圧力を感知することは、自律的で遠隔操作のロボット操作に役立ちますが、グリッパーの表面に触覚感知を追加することは困難または非現実的です。
力が加えられたときにグリッパーが視覚的に変形する場合、グリッパーを観察する外部カメラからの画像を使用して、接触圧力を視覚的に推定できます。
研究者は、制御された実験室の設定でこの機能を実証しましたが、以前の研究では、照明、表面、およびその他の要因が大きく異なる環境での視圧推定に関連する課題に対処していませんでした。
深層学習モデルと、さまざまな条件下での視圧推定を可能にする関連手法を紹介します。
私たちのモデルであるロボットの視覚的圧力推定 (ViPER) は、目のカメラから画像を入力として取得し、ソフト グリッパーによって加えられた圧力を表す画像を出力します。
私たちの重要な洞察は、圧力測定値を取得するのが難しい設定でトレーニング データを効率的に収集するために、力/トルク センシングを弱いラベルとして使用できるということです。
この弱くラベル付けされたデータと圧力測定値を含む完全にラベル付けされたデータを組み合わせてトレーニングすると、ViPER は以前の方法よりも優れた性能を発揮し、雑然とした設定での正確な操作を可能にし、家庭での使用に関連する目に見えない条件の正確な推定を提供します。

要約(オリジナル)

Sensing contact pressure applied by a gripper is useful for autonomous and teleoperated robotic manipulation, but adding tactile sensing to a gripper’s surface can be difficult or impractical. If a gripper visibly deforms when forces are applied, contact pressure can be visually estimated using images from an external camera that observes the gripper. While researchers have demonstrated this capability in controlled laboratory settings, prior work has not addressed challenges associated with visual pressure estimation in the wild, where lighting, surfaces, and other factors vary widely. We present a deep learning model and associated methods that enable visual pressure estimation under widely varying conditions. Our model, Visual Pressure Estimation for Robots (ViPER), takes an image from an eye-in-hand camera as input and outputs an image representing the pressure applied by a soft gripper. Our key insight is that force/torque sensing can be used as a weak label to efficiently collect training data in settings where pressure measurements would be difficult to obtain. When trained on this weakly labeled data combined with fully labeled data containing pressure measurements, ViPER outperforms prior methods, enables precision manipulation in cluttered settings, and provides accurate estimates for unseen conditions relevant to in-home use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google