Recovering 3D Hand Mesh Sequence from a Single Blurry Image: A New Dataset and Temporal Unfolding

要約

私たちの体の中で最もダイナミックな部分の 1 つである手は、活発な動きのためにぼやけに悩まされています。
ただし、以前の 3D ハンド メッシュの復元方法は、ぼやけた手の画像を提供するデータセットがないため、ぼやけを考慮するのではなく、主に鮮明な手の画像に焦点を当てていました。
最初に、3D グラウンドトゥルースを含むぼやけた手の画像を含む新しいデータセット BlurHand を提示します。
BlurHand は、一連の鮮明な手の画像からモーション ブラーを合成し、リアルで自然なモーション ブラーを模倣することによって構築されます。
新しいデータセットに加えて、ぼやけた手の画像から正確な 3D 手のメッシュを復元するためのベースライン ネットワークである BlurHandNet を提案します。
私たちの BlurHandNet は、ぼやけた入力画像を 3D ハンド メッシュ シーケンスに展開して、ぼやけた入力画像の時間情報を利用しますが、以前の作品は静的な単一のハンド メッシュを出力しました。
実験では、ぼやけた画像から 3D ハンド メッシュを復元するための BlurHand の有用性を示します。
提案された BlurHandNet は、野生の画像にうまく一般化しながら、ぼやけた画像に対してより堅牢な結果を生成します。
トレーニング コードと BlurHand データセットは、https://github.com/JaehaKim97/BlurHand_RELEASE で入手できます。

要約(オリジナル)

Hands, one of the most dynamic parts of our body, suffer from blur due to their active movements. However, previous 3D hand mesh recovery methods have mainly focused on sharp hand images rather than considering blur due to the absence of datasets providing blurry hand images. We first present a novel dataset BlurHand, which contains blurry hand images with 3D groundtruths. The BlurHand is constructed by synthesizing motion blur from sequential sharp hand images, imitating realistic and natural motion blurs. In addition to the new dataset, we propose BlurHandNet, a baseline network for accurate 3D hand mesh recovery from a blurry hand image. Our BlurHandNet unfolds a blurry input image to a 3D hand mesh sequence to utilize temporal information in the blurry input image, while previous works output a static single hand mesh. We demonstrate the usefulness of BlurHand for the 3D hand mesh recovery from blurry images in our experiments. The proposed BlurHandNet produces much more robust results on blurry images while generalizing well to in-the-wild images. The training codes and BlurHand dataset are available at https://github.com/JaehaKim97/BlurHand_RELEASE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google