要約
本稿では、Sparse View Synthesis を提案します。
これは、参照ビューの数が制限され、ターゲット ビューと参照ビューの間のベースラインが重要なビュー合成の問題です。
これらの条件下では、参照ビューの数が制限されている場合、またはターゲット ビューが参照ビューから大幅に逸脱している場合は常に、3D 浮遊ブロブ、ぼやけ、構造的重複などの避けられないアーティファクトが原因で、現在の放射輝度場法は壊滅的に失敗します。
ネットワーク アーキテクチャの進歩と損失の正則化では、これらのアーティファクトを十分に除去することはできません。
シーン内のオクルージョンにより、これらの領域の実際のコンテンツがモデルで利用できないことが保証されます。
この作業では、代わりに、そのような領域内のもっともらしいシーンのコンテンツを幻覚させることに焦点を当てています。
この目的のために、敵対的学習と知覚的損失を備えた放射輝度場モデルを統合します。
結果として得られるシステムは、この問題に関する現在の最先端の放射場モデルと比較して、知覚精度を最大 60% 向上させます。
要約(オリジナル)
This paper proposes Sparse View Synthesis. This is a view synthesis problem where the number of reference views is limited, and the baseline between target and reference view is significant. Under these conditions, current radiance field methods fail catastrophically due to inescapable artifacts such 3D floating blobs, blurring and structural duplication, whenever the number of reference views is limited, or the target view diverges significantly from the reference views. Advances in network architecture and loss regularisation are unable to satisfactorily remove these artifacts. The occlusions within the scene ensure that the true contents of these regions is simply not available to the model. In this work, we instead focus on hallucinating plausible scene contents within such regions. To this end we unify radiance field models with adversarial learning and perceptual losses. The resulting system provides up to 60% improvement in perceptual accuracy compared to current state-of-the-art radiance field models on this problem.
arxiv情報
著者 | Violeta Menéndez González,Andrew Gilbert,Graeme Phillipson,Stephen Jolly,Simon Hadfield |
発行日 | 2022-11-14 12:26:41+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google