State of the Art in Dense Monocular Non-Rigid 3D Reconstruction

要約

一連の単眼 2D 画像観測からの変形可能な (または非剛体の) シーンの 3D 再構成は、コンピューター ビジョンとグラフィックスの長年にわたって積極的に研究されてきた分野です。
これは不適切な設定の逆問題です。追加の事前の仮定がなければ、入力 2D 画像への正確な投影につながる無限に多くの解が可能になるからです。
非剛体再構成は、ロボット工学、AR/VR、ビジュアル コンテンツ作成などのダウンストリーム アプリケーションの基本的なビルディング ブロックです。
単眼カメラを使用する主な利点は、ステレオやマルチビュー システムなどのより洗練されたカメラ設定と比較して、エンド ユーザーがどこにでも存在し、利用できること、および使いやすいことです。
この調査は、単眼ビデオまたは単眼ビューのセットからのさまざまな変形可能オブジェクトおよび複合シーンの高密度非剛体 3D 再構成のための最先端の方法に焦点を当てています。
2D 画像観察からの 3D 再構成と変形モデリングの基礎を確認します。
次に、任意のシーンを処理し、事前にいくつかの仮定のみを行う一般的な方法から始めて、観測されたオブジェクトと変形の種類 (人間の顔、体、手、動物など) についてより強力な仮定を行う手法に進みます。
この STAR の重要な部分は、メソッドの分類と高レベルの比較、および説明した手法のトレーニングと評価のためのデータセットの概要にも当てはまります。
フィールドでの未解決の課題と、レビューされた方法の使用に関連する社会的側面について議論することで締めくくります。

要約(オリジナル)

3D reconstruction of deformable (or non-rigid) scenes from a set of monocular 2D image observations is a long-standing and actively researched area of computer vision and graphics. It is an ill-posed inverse problem, since–without additional prior assumptions–it permits infinitely many solutions leading to accurate projection to the input 2D images. Non-rigid reconstruction is a foundational building block for downstream applications like robotics, AR/VR, or visual content creation. The key advantage of using monocular cameras is their omnipresence and availability to the end users as well as their ease of use compared to more sophisticated camera set-ups such as stereo or multi-view systems. This survey focuses on state-of-the-art methods for dense non-rigid 3D reconstruction of various deformable objects and composite scenes from monocular videos or sets of monocular views. It reviews the fundamentals of 3D reconstruction and deformation modeling from 2D image observations. We then start from general methods–that handle arbitrary scenes and make only a few prior assumptions–and proceed towards techniques making stronger assumptions about the observed objects and types of deformations (e.g. human faces, bodies, hands, and animals). A significant part of this STAR is also devoted to classification and a high-level comparison of the methods, as well as an overview of the datasets for training and evaluation of the discussed techniques. We conclude by discussing open challenges in the field and the social aspects associated with the usage of the reviewed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google