Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

要約

この研究では、ニューラル放射輝度場 (NeRF) に基づいて単一の 360 度 RGB-D 画像から新しいビューを合成する方法を提示します。
以前の研究では、多層パーセプトロンの近傍補間機能を利用して、オクルージョンやズームによって失われた領域を補完していましたが、これがアーティファクトにつながりました。
この研究で提案された方法では、入力画像は他のカメラ位置で 360 度 RGB 画像に再投影され、再投影された画像の欠落領域は 2D 画像生成モデルによって補完され、完成した画像は NeRF のトレーニングに利用されます。
.
複数の完成画像には 3D の不一致が含まれるため、完成領域の重なりが少ないターゲット シーンをカバーする完成画像のサブセットを使用して NeRF モデルを学習する方法を導入します。
このような画像のサブセットの選択は、シミュレーテッド アニーリングによって解決される最大重み独立集合問題に起因する可能性があります。
実験は、提案された方法が、人工データと現実世界のデータの両方のシーンの特徴を維持しながら、もっともらしい新しいビューを合成できることを実証しました。

要約(オリジナル)

In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google