HpEIS: Learning Hand Pose Embeddings for Multimedia Interactive Systems

要約

我々は、仮想センサーとして新しいハンドポーズエンベディングインタラクティブシステム（HpEIS）を提案します。これは、さまざまな手のポーズで訓練された変分オートエンコーダー（VAE）を使用して、ユーザーの柔軟な手のポーズを二次元の視覚空間にマッピングします。
HpEIS は、外部の手姿勢取得デバイスとしてカメラのみを使用して、マルチメディア コレクション内のユーザー探索を視覚的に解釈可能かつガイド可能なサポートを可能にします。
私たちは、専門家と経験の浅いユーザーによるパイロット実験を通じて、システムの安定性と平滑化要件に関連する一般的なユーザビリティの問題を特定します。
次に、ハンドポーズデータの拡張、損失関数に追加されたアンチジッター正則化項、動きのターニングポイントの後処理の安定化、ワンユーロフィルターに基づく後処理の平滑化など、安定性と平滑化の改善を設計します。
ターゲット選択実験 (n=12) では、ジェスチャ ガイダンス ウィンドウ条件の有無にかかわらず、タスクの完了時間とターゲット ポイントまでの最終距離の測定によって HpEIS を評価します。
実験の結果は、HpEIS が学習可能で柔軟、安定したスムーズな空中の手の動きのインタラクション エクスペリエンスをユーザーに提供することを示しています。

要約(オリジナル)

We present a novel Hand-pose Embedding Interactive System (HpEIS) as a virtual sensor, which maps users’ flexible hand poses to a two-dimensional visual space using a Variational Autoencoder (VAE) trained on a variety of hand poses. HpEIS enables visually interpretable and guidable support for user explorations in multimedia collections, using only a camera as an external hand pose acquisition device. We identify general usability issues associated with system stability and smoothing requirements through pilot experiments with expert and inexperienced users. We then design stability and smoothing improvements, including hand-pose data augmentation, an anti-jitter regularisation term added to loss function, stabilising post-processing for movement turning points and smoothing post-processing based on One Euro Filters. In target selection experiments (n=12), we evaluate HpEIS by measures of task completion time and the final distance to target points, with and without the gesture guidance window condition. Experimental responses indicate that HpEIS provides users with a learnable, flexible, stable and smooth mid-air hand movement interaction experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google