Visual Estimation of Fingertip Pressure on Diverse Surfaces using Easily Captured Data

要約

先行研究では、1枚のRGB画像から手が表面に加える圧力をディープモデルで推定できることが示されています。これらのモデルをトレーニングするには、物理的なセンサーでは入手が困難な高解像度の圧力測定が必要です。さらに、専門家であっても画像から圧力を確実にアノテーションすることはできません。このように、データ収集は汎化および性能向上のための重要な障壁となっている。我々は、RGBカメラと協力的な参加者のみで、修正されていない表面から効率的に学習データを取得することができる新しいアプローチを提示する。本研究では、接触圧を表すカテゴリーラベル（接触ラベル）に対応した動作（例えば、特定の指先を使って弱い力で接触する等）を行うよう促すことができることを見出した。そこで、指先にかかる圧力を視覚的に推定するContactLabelNetを提案します。接触ラベルを用いることで、ContactLabelNetは性能の向上を達成し、新しい表面にも一般化し、先行研究のモデルよりも優れた性能を発揮します。

要約(オリジナル)

Prior research has shown that deep models can estimate the pressure applied by a hand to a surface based on a single RGB image. Training these models requires high-resolution pressure measurements that are difficult to obtain with physical sensors. Additionally, even experts cannot reliably annotate pressure from images. Thus, data collection is a critical barrier to generalization and improved performance. We present a novel approach that enables training data to be efficiently captured from unmodified surfaces with only an RGB camera and a cooperative participant. Our key insight is that people can be prompted to perform actions that correspond with categorical labels (contact labels) describing contact pressure, such as using a specific fingertip to make low-force contact. We present ContactLabelNet, which visually estimates pressure applied by fingertips. With the use of contact labels, ContactLabelNet achieves improved performance, generalizes to novel surfaces, and outperforms models from prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL