Tiled Multiplane Images for Practical 3D Photography

要約

単一の画像から新しいビューを合成するタスクは、仮想現実やモバイル コンピューティングに有用な用途があり、この問題に対する多くのアプローチが近年提案されています。
マルチプレーン イメージ (MPI) は、シーンを RGBA レイヤーのスタックとして推定し、複雑な外観効果、アンチエイリアス深度エラーをモデル化し、テクスチャ メッシュやレイヤー化された深度イメージを使用する方法よりも優れたソフト エッジの合成を行うことができます。
また、ニューラル放射輝度フィールドとは異なり、MPI はグラフィックス ハードウェア上で効率的にレンダリングできます。
ただし、MPI は冗長性が高く、妥当な結果を得るには多数の深層レイヤーが必要です。
局所的な画像領域の深度の複雑さは画像全体の深度の複雑さよりも低いという観察に基づいて、MPI を多数の小さなタイル化された領域に分割し、それぞれに数個の深度平面しかありません。
この表現を Tiled Multiplane Image (TMPI) と呼びます。
我々は、実際の単一ビュー 3D 写真用に適応深度平面を備えた TMPI を生成する方法を提案します。
私たちの合成結果は、最先端のシングルビュー MPI 手法と同等でありながら、計算オーバーヘッドが低くなります。

要約(オリジナル)

The task of synthesizing novel views from a single image has useful applications in virtual reality and mobile computing, and a number of approaches to the problem have been proposed in recent years. A Multiplane Image (MPI) estimates the scene as a stack of RGBA layers, and can model complex appearance effects, anti-alias depth errors and synthesize soft edges better than methods that use textured meshes or layered depth images. And unlike neural radiance fields, an MPI can be efficiently rendered on graphics hardware. However, MPIs are highly redundant and require a large number of depth layers to achieve plausible results. Based on the observation that the depth complexity in local image regions is lower than that over the entire image, we split an MPI into many small, tiled regions, each with only a few depth planes. We call this representation a Tiled Multiplane Image (TMPI). We propose a method for generating a TMPI with adaptive depth planes for single-view 3D photography in the wild. Our synthesized results are comparable to state-of-the-art single-view MPI methods while having lower computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google