3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera

要約

単眼ビデオからの 3D ハンド トラッキングは、手のインタラクション、遮蔽、左右の手のあいまいさ、および速い動きのため、非常に困難な問題です。
既存の方法のほとんどは RGB 入力に依存していますが、低照度条件下では厳しい制限があり、モーション ブラーが発生します。
対照的に、イベント カメラは画像フレーム全体ではなく局所的な明るさの変化をキャプチャするため、前述の影響を受けません。
残念ながら、データ モダリティに大きな違いがあるため、既存の画像ベースの技術をイベントに直接適用することはできません。
これらの課題に応えて、この論文では、単一の単眼イベント カメラから、高速で動き、相互作用する 2 つの手を 3D 追跡するための最初のフレームワークを紹介します。
私たちのアプローチは、新しい半教師あり特徴ごとの注意メカニズムを使用して左右の手のあいまいさに取り組み、手の衝突を修正するために交差損失を統合します。
この研究領域の進歩を促進するために、私たちは相互作用する 2 つの手の新しい合成大規模データセット Ev2Hands-S と、リアル イベント ストリームとグラウンド トゥルース 3D アノテーションを備えた新しいリアル ベンチマーク Ev2Hands-R をリリースします。
私たちのアプローチは、3D 再構成の精度の点で既存の方法を上回っており、厳しい光条件下での実データに一般化されています。

要約(オリジナル)

3D hand tracking from a monocular video is a very challenging problem due to hand interactions, occlusions, left-right hand ambiguity, and fast motion. Most existing methods rely on RGB inputs, which have severe limitations under low-light conditions and suffer from motion blur. In contrast, event cameras capture local brightness changes instead of full image frames and do not suffer from the described effects. Unfortunately, existing image-based techniques cannot be directly applied to events due to significant differences in the data modalities. In response to these challenges, this paper introduces the first framework for 3D tracking of two fast-moving and interacting hands from a single monocular event camera. Our approach tackles the left-right hand ambiguity with a novel semi-supervised feature-wise attention mechanism and integrates an intersection loss to fix hand collisions. To facilitate advances in this research domain, we release a new synthetic large-scale dataset of two interacting hands, Ev2Hands-S, and a new real benchmark with real event streams and ground-truth 3D annotations, Ev2Hands-R. Our approach outperforms existing methods in terms of the 3D reconstruction accuracy and generalises to real data under severe light conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google