Human from Blur: Human Pose Tracking from Blurry Images

要約

タイトル: ぼやけた画像から人物のポーズをトラッキングする方法

要約:
– ぼやけた画像から3D人物ポーズを推定する方法を提案する。
– 画像のぼやけを逆問題として捉え、3D人物モデルやテクスチャマップ、人物の動きを表現するポーズの系列を利用する。
– ぼやけをモデル化するために、時間的な画像集約処理が行われる。
– 可微分レンダリングにより、ピクセルごとの再投影エラーを逆伝播させることで、単一または複数の入力画像を説明する最適な人物モーション表現を回復できる。
– 画像再構成ロスだけでは不十分なため、追加の正則化項を導入する。
– ぼやけた画像を処理する方法として初めて、3D非剛体人物モーションとサブフレーム精度の画像復元を併せ持つ手法を提案する。
– 他の手法よりも優れた性能を発揮するため、複数の機能が統合されていることが重要である。

要約(オリジナル)

We propose a method to estimate 3D human poses from substantially blurred images. The key idea is to tackle the inverse problem of image deblurring by modeling the forward problem with a 3D human model, a texture map, and a sequence of poses to describe human motion. The blurring process is then modeled by a temporal image aggregation step. Using a differentiable renderer, we can solve the inverse problem by backpropagating the pixel-wise reprojection error to recover the best human motion representation that explains a single or multiple input images. Since the image reconstruction loss alone is insufficient, we present additional regularization terms. To the best of our knowledge, we present the first method to tackle this problem. Our method consistently outperforms other methods on significantly blurry inputs since they lack one or multiple key functionalities that our method unifies, i.e. image deblurring with sub-frame accuracy and explicit 3D modeling of non-rigid human motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI