SynthoGestures: A Novel Framework for Synthetic Dynamic Hand Gesture Generation for Driving Scenarios

要約

自動車分野における動的なヒューマン マシン インターフェイス用のハンド ジェスチャーの多様かつ包括的なデータセットを作成することは、困難で時間がかかる場合があります。
この課題を克服するために、仮想 3D モデルによって生成された合成ジェスチャ データセットを使用することを提案します。
私たちのフレームワークは、Unreal Engine を利用してリアルな手のジェスチャーを合成し、カスタマイズ オプションを提供し、オーバーフィットのリスクを軽減します。
ジェスチャの速度、パフォーマンス、手の形状などの複数のバリアントが生成され、一般化可能性が向上します。
さらに、RGB、赤外線、深度カメラなどのさまざまなカメラの場所とタイプを、これらのカメラを入手するための追加の時間とコストをかけずにシミュレートします。
実験結果は、私たちが提案したフレームワークである SynthoGestures\footnote{\url{https://github.com/amrgomaaelhady/SynthoGestures}} がジェスチャ認識の精度を向上させ、実際の手のデータセットを置き換えたり拡張したりできることを示しています。
データセットの作成にかかる時間と労力を節約することで、当社のツールは自動車アプリケーション向けのジェスチャ認識システムの開発を加速します。

要約(オリジナル)

Creating a diverse and comprehensive dataset of hand gestures for dynamic human-machine interfaces in the automotive domain can be challenging and time-consuming. To overcome this challenge, we propose using synthetic gesture datasets generated by virtual 3D models. Our framework utilizes Unreal Engine to synthesize realistic hand gestures, offering customization options and reducing the risk of overfitting. Multiple variants, including gesture speed, performance, and hand shape, are generated to improve generalizability. In addition, we simulate different camera locations and types, such as RGB, infrared, and depth cameras, without incurring additional time and cost to obtain these cameras. Experimental results demonstrate that our proposed framework, SynthoGestures\footnote{\url{https://github.com/amrgomaaelhady/SynthoGestures}}, improves gesture recognition accuracy and can replace or augment real-hand datasets. By saving time and effort in the creation of the data set, our tool accelerates the development of gesture recognition systems for automotive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google