PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images

要約

触覚は人間の操作において基本的な役割を果たすが、接触や圧力の機械的知覚には通常、侵襲的なセンサーが必要である。最近の研究では、ディープモデルが単一のRGB画像に基づいて手の圧力を推定できることが示されている。しかし、グラウンドトゥルースの圧力測定で多様なデータを収集することは困難であるため、評価は制御された設定に限られている。我々は、RGBカメラと協力的な参加者のみで多様なデータを収集することを可能にする新しいアプローチを提示する。我々の重要な洞察は、人々が特定の方法で圧力を加えるよう促すことができることであり、この促しは、様々な条件下でモデルが良好に動作するよう監督するための弱いラベルとして機能することができる。我々は、51人の参加者が多様な物体に指先を接触させた新しいデータセットを収集する。我々のネットワークであるPressureVision++は、人間のアノテーターや先行研究を凌駕している。また、PressureVision++の複合現実感への応用を実証し、圧力推定によって日常的な表面を任意のタッチセンシティブインターフェースとして使用できるようにします。コード、データ、モデルはオンラインで入手可能です。

要約(オリジナル)

Touch plays a fundamental role in manipulation for humans; however, machine perception of contact and pressure typically requires invasive sensors. Recent research has shown that deep models can estimate hand pressure based on a single RGB image. However, evaluations have been limited to controlled settings since collecting diverse data with ground-truth pressure measurements is difficult. We present a novel approach that enables diverse data to be captured with only an RGB camera and a cooperative participant. Our key insight is that people can be prompted to apply pressure in a certain way, and this prompt can serve as a weak label to supervise models to perform well under varied conditions. We collect a novel dataset with 51 participants making fingertip contact with diverse objects. Our network, PressureVision++, outperforms human annotators and prior work. We also demonstrate an application of PressureVision++ to mixed reality where pressure estimation allows everyday surfaces to be used as arbitrary touch-sensitive interfaces. Code, data, and models are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL