Recent Trends in 3D Reconstruction of General Non-Rigid Scenes

要約

現実のシーンの3Dジオメトリ、外観、動きを含む現実世界のモデルを再構築することは、コンピュータグラフィックスやコンピュータビジョンにとって不可欠である。これにより、映画産業やAR/VRアプリケーションに有用な、フォトリアリスティックな斬新なビューの合成が可能になる。また、コンピュータゲームやAR/VRで必要なコンテンツ制作を容易にし、手間のかかる手作業によるデザインプロセスを回避する。さらに、このようなモデルは、現実世界のシーンやアクションを解釈し、人間世界と安全に行動・対話する必要のあるインテリジェント・コンピューティング・システムにとって基本的なものである。特筆すべきは、我々を取り巻く世界は動的であり、動的で非剛体的に動くシーンのモデルを再構築することは、制約が厳しく困難な問題であるということである。本最先端技術レポート（STAR）は、RGBやRGB-Dセンサからのデータなど、単眼および多視点入力による最先端技術の包括的な要約を読者に提供し、さまざまなアプローチの理解、その潜在的な応用、有望なさらなる研究の方向性を伝える。本報告書では、一般的な非剛体シーンの3D再構成を取り上げ、さらにシーンの分解、編集と制御、一般化可能で生成的なモデリングの技術についても言及する。より具体的には、まず、この分野を理解し、ナビゲートするために必要な共通かつ基本的な概念を概説し、次に、新たに可能になったアプリケーションに関する議論を含め、従来のニューラル表現と機械学習ベースのニューラル表現を使用する最近のアプローチをレビューすることにより、最先端の技術について議論する。STARは、残された限界と未解決の課題についての議論で締めくくられる。

要約(オリジナル)

Reconstructing models of the real world, including 3D geometry, appearance, and motion of real scenes, is essential for computer graphics and computer vision. It enables the synthesizing of photorealistic novel views, useful for the movie industry and AR/VR applications. It also facilitates the content creation necessary in computer games and AR/VR by avoiding laborious manual design processes. Further, such models are fundamental for intelligent computing systems that need to interpret real-world scenes and actions to act and interact safely with the human world. Notably, the world surrounding us is dynamic, and reconstructing models of dynamic, non-rigidly moving scenes is a severely underconstrained and challenging problem. This state-of-the-art report (STAR) offers the reader a comprehensive summary of state-of-the-art techniques with monocular and multi-view inputs such as data from RGB and RGB-D sensors, among others, conveying an understanding of different approaches, their potential applications, and promising further research directions. The report covers 3D reconstruction of general non-rigid scenes and further addresses the techniques for scene decomposition, editing and controlling, and generalizable and generative modeling. More specifically, we first review the common and fundamental concepts necessary to understand and navigate the field and then discuss the state-of-the-art techniques by reviewing recent approaches that use traditional and machine-learning-based neural representations, including a discussion on the newly enabled applications. The STAR is concluded with a discussion of the remaining limitations and open challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL